Húsið var upphaflega þekkt sem Juel mansion og var byggt á árunum 1683 til 1686 fyrir danska sjóforingjan Niels Juel. Það var önnur byggingin sem var fullbúin á Kongens Nytorv sem hafði verið sett af Christian V af Danmörku á árunum eftir krúnun sína árið 1670 sem var innblásin af konunglegum torgum Parísar. Niels Juel sigraði í
Baráttan við Køge-flóa hafði skilað honum frægð og ríkidæmi. Lambert van Haven hannaði nýja hús hans sem L-laga byggingu í hollenskum barokkstíl.