Alun perin tunnettu nimellä Juel Mansion, talo rakennettiin vuosina 1683-1686 Tanskan laivaston upseeri Niels Juelille. Se oli toinen rakennus, joka valmistui Kongens Nytorvilla, jonka Tanskan kuningas Christian V oli asettanut Pariisin kuninkaallisilta aukioilta inspiroituneena vuonna 1670. Niels Juelin voitto Køgenlahden taistelussa
Se oli tuonut hänelle kuuluisuutta ja rikkautta. Hänen uuden kartanonsa suunnitteli Lambert van Haven L-muotoisena rakennuksena hollantilaisen barokki-tyylin mukaisesti.