Il Palazzo del Governo in cui oggi ha sede la Prefettura risale al XV secolo.
L'edificio fu costruito per volere di Papa Gregorio XVI come sede apostolica. Il progetto era dell'architetto Mazzarini e risale al 1825, l'esecuzione spettò però all'architetto Antonio Sarti da Modena. Nel nuovo progetto si conserva il vecchio portale di cui le fonti orali hanno sempre voluto attribuire la paternità del disegno a Michelangelo Buonarroti. Dell'antica struttura non vengono ricostruite le torri ma viene conservato il carattere di fortezza; le carceri sono collocate al lato sinistro e gli uffici dell'amministrazione del governo provinciale sull'ala destra. I lavori voluti dal cardinale Benvenuti, che pose la prima pietra, e dal cardinale Antonio Tosti, furono diretti dall'architetto Sarti, chiamato dal Prefetto del Buongoverno cardinal Dantini. I lavori di costruzione furono svolti fino al 1835, tuttavia gli ultimi ritocchi si protrassero fino al 1840.
Venne inaugurato nel 1841 e si pose subito come punto focale dell'espansione urbana della città. Ha subito nel corso degli anni rovinose distruzioni a causa di terremoti, incendi, e i bombardamenti della II guerra mondiale. Gli anni del dopoguerra videro la ricostruzione dell'edificio, che ha mantenuto inalterate le caratteristiche di una buona architettura in stile dorico con cornicione a triglifi e fastigio centrale. Ha quattro piani sostenuto da sei colonne con una loggia che sporge all'altezza del piano nobile, da dove Pio IX benedisse una numerosa e festosa folla il 15 maggio 1863.
Dal 1926, con la costituzione della Provincia di Frosinone, il Palazzo fu destinato a sede della Prefettura. Gli anni del dopoguerra videro la ricostruzione dell'edificio la cui struttura ricalca quella del disegno originario, anche se è scomparsa la torretta dell'orologio che ne costituiva il punto più alto.
Gli appartamenti residenziali del Palazzo sono arricchiti da salotti e specchiere della reggia di Caserta in oro zecchino riproducenti scene di corte. L'interno dell'ampio salone di rappresentanza è stato affrescato da Domenico Purificato con scene di vita campestre pastorale e contadina che ricordano la terra ciociara.