Palazzo Del Prete, attiguo alla Chiesa dell’Immacolata, sorge sul preesistente sito del regium castrum, la prima fortezza presente a difesa della città dagli attacchi dei turchi provenienti dalla strada per Taranto, che dava il nome all’omonimo pittagio Castelli Veteris.

Nel 1271 Carlo I d’Angiò dispose che sul luogo del vecchio castello normanno-svevo, ormai abbandonato, si potessero insediare i Minori Conventuali. Il loro convento fu il primo insediamento francescano della Puglia nonché fiorente centro studi. Qualche tempo dopo i frati chiesero allo stesso feudatario parte del restante suolo per costruire anche una chiesa che quasi 300 anni dopo, nel 1850, il vescovo Luigi Vetta dedicò alla Beata Vergine Immacolata.