Además de ser la última casa de Marie-Antoinette, el palacio era un favorito de Napoleón III y su esposa Eug?nie, cuya memorabilia extravagante constituye el Musee du Second-Empire.
El palacio ha albergado muchas figuras famosas a lo largo de los años.