A kastélyban élt Gurun Kejing hercegnő, miután megnősült a mongol Borjigin klán tagjaival. A
A dzsungár-csing háborúk azt jelentették, hogy a ma Mongólia néven ismert terület nem volt biztonságos egy csing hercegnő számára, ezért a Kangxi császár elrendelte, hogy Hohhotban lakjon, akkor Guihua városként ismert. A rezidenciát 1703-ban választották ki, és az építéshez szükséges összes anyag és munkaerő a Hohhot környékéről érkezett. A rezidenciát 1705-ben fejezték be.