Museum koleksi iki dibangun antarané taun 1656 lan 1659 kanggo Pierre Aubert, bangsawan de Fontenay. Pierre Aubert iku salah sawijing wong tani sing sugih amarga dadi petugas sing éntuk kewajiban ngumpulaké pajeg uyah. Arsitek yasan iki ya iku Jean Boullier saka Bourges, uga dikenal Boullier de Bourges. Wangunan iki dianggep salah sawijining omah-omah "bersejarah" sing paling apik ing Marais.