Í upphafi var húsið þekkt sem Juel Mansion og var byggt á árunum 1683 til 1686 fyrir danska sjóforingja Niels Juel. Það var önnur byggingin sem var fullbúin á Kongens Nytorv sem hafði verið sett af Christian V af Danmörku á árunum eftir krúnun sína árið 1670 sem var innblásin af konunglegum torgum Parísar. Niels Juel sigraði í Køge-flóa
hafði skilað honum frægð og ríkidæmi. Lambert van Haven hannaði nýja hús hans sem L-laga byggingu í hollenskum barokkstíl.