A 16. század végére Portugália elvesztette függetlenségét a
Alcácer Quibir. Loulé régióját és falvát ismét a part mentén lévő kalózok támadásai fenyegették, de a vár védelme már veszélybe került, és romokba esett. 1630 után az Algarve gazdasági vitalitása csökkenni kezdett, a lakosság stagnálása és a politikai instabilitás hozzájárult a Barbary Coast kalózkodáshoz. A régió bővülése szenvedett, még akkor is, amikor új épületeket építettek: 1600-ban a Portas do Ceu templomot építették; a kastély három kapujában remeteiket építettek a Nossa Senhora da Conceição-nak, a Nossa Senhora do Pilar-nak és a Nossa Senhora do Carmo-nak; az udvarban építették az Espírito Santo templomot (amelyet 1693-ban visszanyertek és bővítettek); bővítette a Nossa Senhora da Conceição kolostor apácaházát; és keletre D. Francisco Barreto, az Algarve második püspöke, a Santo António kolostor sarokkövét tette (1675). A restauráció után a vár védekező szerepet vállalt, és a szerkezetet körülvevő földeket új építmények foglalták el.