През 1529 г. започва работа по кула и кралски апартаменти за Джеймс и съпругата му Мери от Гиз, които сега представляват западната част и кулата на сегашния дворец.
Старите царски апартаменти отдавна са разрушени.