През 1529 г. започва работа по кула и кралски апартаменти за Джеймс и съпругата му Мери от Гиз, които сега представляват западната част и кулата на сегашния дворец.
Работата по царските апартаменти продължи повече от век.