Il palazzo fu fatto costruire nel 1892 da Domenico Colosso, originario di Ugento, il quale, sposando una nobildonna neretina della famiglia Tafuri volle trasferirsi a Nardò.
Il palazzo fu edificato sui resti della cinquecentesca Porta San Paolo che si apriva sul versante orientale delle mura civiche di fronte all’antico slargo della Chiesa della Carità.
La residenza gentilizia si affaccia su piazza della Repubblica, che viene comunemente detta dai neretini piazza Tre Palme per la storica presenza delle piante esotiche proprio nella piazza antistante l’ingresso.