El palacio, muy alterado a lo largo de las generaciones, se utiliza generalmente como residencia sólo en momentos de importancia dinástica o peligro, cuando Holyrood, en la tierra baja, era difícil de defender.
El palacio era siempre la residencia principal.