A principios do século XVI, tras a construción do Palacio da Ribeira ao lado do río Tajo, o Palacio de Alcáçova comezou a perder a súa importancia. Un terremoto ocorrido en 1531 danou aínda máis o antigo castelo, contribuíndo aínda máis ao seu deterioro e abandono. En 1569, o rei Sebastián ordenou a reconstrución dos apartamentos reais no castelo, coa intención de usalo como a súa residencia oficial. Como parte da reconstrución, en 1577 Filippo Terzi demoliu unha das torres preto da fachada principal da Igrexa de Loreto. Con todo, moitas das obras nunca foron rematadas despois da aparente morte do mozo rei durante a batalla de Alcácer Quibir.
- Non. A seguinte crise dinástica portuguesa abriu o camiño para sesenta anos de dominio español e o castelo converteuse en cuarteis militares e prisión. O 30 de decembro de 1642, Teodósio de Frias o Mozo foi nomeado mestre construtor para continuar as obras iniciadas polo seu pai, Luís de Frias, e o seu avó, Teodósio de Frias. Isto formaba parte dun plan máis amplo das forzas españolas para recompilar a fortificación.