Дворецът, много променен през поколенията, обикновено е бил използван като резиденция само във времена на династично значение или опасност, когато Холируд, долу в низината, е бил труден за защита.
Дворецът винаги е бил основната резиденция.