La sfârșitul secolului al XVI-lea, Portugalia și-a pierdut independența în urma evenimentelor de la Alcácer Quibir
- Da, domnule. Regiunea și satul Loulé au fost, încă o dată, amenințate de atacurile de pe coastă ale piraților de-a lungul coastei, dar apărarea castelului a devenit deja amenințată și a căzut în ruină. După 1630, vitalitatea economică a Algarvei a început să scadă, populația sa stagnând și instabilitatea politică contribuind la pirateria de pe Coasta Barbariei. Expansiunea regiunii a suferit, chiar și în timp ce s-au construit noi clădiri: în 1600 a fost construită Biserica Portas do Ceu; în cele trei porți ale castelului au fost construite eremite pentru Nossa Senhora da Conceição, Nossa Senhora do Pilar și Nossa Senhora do Carmo; în curte, au construit Biserica Espírito Santo (apoi recuperată și extinsă în 1693); extinsă mănăstirea Conventului Nossa Senhora da Conceição; iar în est, D. Francisco Barreto, al doilea episcop al Algarvei, a pus piatra de temelie a mănăstirii Santo António (1675). După Restaurare, castelul a preluat un rol defensiv, iar terenurile din jurul structurii au fost ocupate de noi construcții.