Andika mwendelezo wa fungu hili - Karibu na mapema karne ya 16, kufuatia ujenzi wa Ribeira Palace kando ya mto Tagus, Jumba la Alcáçova ilianza kupoteza umuhimu wake. Tetemeko la ardhi lililotokea mwaka wa 1531 liliiharibu zaidi ngome hiyo ya kale, na hivyo kuifanya iendelee kuharibika na kupuuzwa. Mnamo mwaka wa 1569, Mfalme Sebastian aliamuru jengo la kifalme lijengwe upya katika kasri hiyo, akiwa na nia ya kulitumia kama makao yake rasmi. Katika mwaka wa 1577, Filippo Terzi alibomoa mojawapo ya minara iliyokuwa karibu na sehemu kuu ya kanisa la Loreto. Hata hivyo, kazi nyingi hazikuwa zimekamilishwa baada ya kifo cha mfalme huyo mchanga wakati wa Vita vya Alcácer Quibir
.. na Mgogoro uliofuata wa nasaba ya Ureno ulifungua njia ya miaka sitini ya utawala wa Uhispania na ngome ilibadilishwa kuwa kambi ya kijeshi na gereza. Mnamo Desemba 30, 1642, Teodósio de Frias Mdogo aliteuliwa kuwa mjenzi mkuu ili kuendelea na kazi zilizoanzishwa na baba yake, Luís de Frias, na babu yake, Teodósio de Frias. Hilo lilikuwa sehemu ya mpango mkubwa zaidi wa majeshi ya Hispania wa kurudisha ngome hiyo.