Il Palazzo baronale venne costruito nel XVI secolo sul primitivo castrum romano dalla famiglia Colonna, è ubicato nella parte più alta della collina e costituiva un intero isolato realizzato sopra
costruzioni romane e in parte sul banco tufaceo. Il fronte principale ha un grande portale bugnato mentre il fronte opposto ha un doppio ordine a cinque fornici. Una parte del palazzo principesco fu modificata nel lato sud-occidentale con la realizzazione della Chiesa di San Nicola di Bari nel secolo XVIII voluta dai Pallavicini.