Attualmente di questa struttura non è rimasto nulla se non la base da dove la famiglia Imperiali partì per renderla residenza signorile. Il feudo di Latiano, difatti, dopo vari proprietari (dai Francone ai De Sanctis) passò di proprietà a Carlo Imperiali III, Marchese di Oria e Francavilla.

La facciata venne trasformata, perdendo così i suoi connotati difensivi per rientrare nel gusto dell’architettura salentina dell’epoca, con l’aggiunta dei simboli della famiglia Imperiali, che possiamo ammirare al portone d’ingresso e negli interni. Anche la scala principale interna fu voluta dalla famiglia, commissionata all’architetto Mauro Manieri. Oltre ad essa, altro intervento molto importante è quello dell’organizzazione interna del complesso che gravita sul cortile centrale e la costruzione della chiesa dell’Immacolata, voluta come luogo di culto privato dagli Imperiali.

Gli Imperiali hanno posseduto il palazzo, direttamente o indirettamente, fino al 1909, anno in cui ne divenne proprietario, per acquisto, il Comune di Latiano, diventando successivamente sede del municipio. Il complesso, nella situazione attuale, ha perso la sua funzione di palazzo di città per assumere quella di contenitore culturale. Si sviluppa su due piani (piano terra e primo piano), nel cuore del centro storico di Latiano come simbolo indiscusso della città.

Con la crescita urbana e i rifacimenti strutturali, l’ingresso principale del palazzo fu collocato in Piazza Umberto I, sebbene il vero ingresso originario del castello era sito in Via Attilio Spinelli. Oggi è sede della Biblioteca Civica Gilberto De Nitto, arricchito dalla presenza della Quadreria Imperiali e del salone di rappresentanza decorato dal pittore latianese Agesilao Flora (1863-1952) nel 1928.