Eredetileg Juel kastélyként ismert, a házat 1683 és 1686 között építették a dán haditengerészeti tiszt, Niels Juel számára. Ez volt a második építmény, amelyet a Kongens Nytorv-on fejeztek be, amelyet V. Keresztyén dán uralkodó tervezett az 1670-es koronázását követő években, a párizsi királyi térek ihlette. Niels Juel győzelme a Køge-öböl csatájában
hírnevet és gazdagságot szerzett neki. Az új kastélyát Lambert van Haven tervezte, L alakú épületként a holland barokk stílusban.