Il palazzo era la dimora dell'antica famiglia dei Tafuri, la cui traccia storica più remota risale al XIV sec. Nel 1753 il palazzo risulta proprietà di Giovan Bernardino Tafuri, scrittore fecondo, storico, poligrafo, che fondò nel 1724 l’Accademia degli Infimi Rinnovati, dando nuovo impulso alle lettere.
La costruzione del palazzo nel Pittagio Sant’Angelo risale al Seicento, in buona parte modificata nel tempo, sia dopo i danni provocati dal violento sisma del 1743, sia da interventi di carattere funzionale.
La facciata del palazzo è stata completamente ricostruita nel 1841 in stile neoclassico, gusto predominante in quel periodo nel tessuto urbano neretino.