Il palazzo fu costruito in un’area già edificata di proprietà di Asdrubale di Alessandro Mattei, che aveva sposato Costanza Gonzaga. La costruzione, su progetto di Carlo Maderno, ebbe inizio nel 1598; nel 1613 venne iniziato il braccio che avrebbe unito il palazzo a quello di Alessandro Mattei, oggi Palazzo Caetani, in quanto entrato in possesso della famiglia Caetani. Nel 1618 la costruzione fu portata a termine.
L’edificio è in mattoni e travertino e termina con un cornicione adorno degli stemmi dei Mattei (scacchiera) e dei Gonzaga (aquila). Imponente e di grande effetto il duplice atrio d’ingresso, corrispondente ai due portoni. Lo scalone è adorno di sculture antiche incorniciate da stucchi, opera di Donato Mazzi. Nel primo cortile si apre un loggiato a due ordini, mentre le pareti laterali sono ricoperte di bassorilievi antichi, anch’essi inseriti in cornici di stucco. Le antichità ancora oggi presenti nel palazzo erano parte di una delle più ricche e pregevoli raccolte private di marmi antichi esistenti a Roma, comprendente anche la parte collocata nella Villa Celimontana di proprietà di Ciriaco, fratello di Asdrubale Mattei, ora nei Musei Vaticani. In cima al palazzo, un’altana con loggiato. Al primo piano dell’edificio, ora sede del Centro di Studi Americani, sale affrescate da vari artisti: Francesco Albani (Storie bibliche), Gaspare Celio, Cristoforo Greppi, Giovanni Lanfranco, Pietro da Cortona (Storie di Salomone).
Estinta la linea maschile dei Mattei di Giove all’inizio del XIX secolo, il palazzo fu ereditato da Marianna, figlia di Giuseppe Mattei e moglie di Carlo Teodoro Antici di Recanati, fratello di Adelaide, madre di Giacomo Leopardi, il quale vi soggiornò tra il novembre 1822 e l’aprile 1823. Nel 1938 l’edificio fu acquistato dallo Stato.