Además de ser el último hogar de María Antonieta, el palacio fue el favorito de Napoleón III y su esposa Eugenia, cuyos extravagantes recuerdos constituyen el Musée du Second-Empire.
Napoleón III vivía en el palacio sin su esposa.