Met de Ottomaanse verovering verloor het kasteel veel van zijn strategische betekenis, hoewel het tijdens de Ottomaanse-Venetiaanse Oorlog van 1463-79 door de Venetianen werd bezet en in 1620 door de Ridders van Malta werd aangevallen. Tijdens de periode van de Venetiaanse overheersing in de Peloponnesos (1687-1715) na de Moreaanse Oorlog
, diende het als de zetel van een fiscaal district. De verslagen van de Venetiaanse gouverneurs van die tijd schrijven Chlemoutsi echter af als klein en nauwelijks bewoond. In 1701 stelde de "provveditore generale" Francesco Grimani voor om het te vernietigen, omdat het te ver van de zee was - een vitale zorg voor de maritieme republiek - en moeilijk te verdedigen, en aanbevolen dat Glarentza, tegen die tijd verlaten en geruïneerd, in plaats daarvan zou worden herbouwd. In 1715 kwam Morea weer onder Ottomaanse controle en begin 19e eeuw was het fort volledig verlaten. In 1825, tijdens de Griekse Onafhankelijkheidsoorlog, namen de troepen van Ibrahim Pasha van Egypte het kasteel in en demonteerden een deel van de muren, zodat het niet door de Griekse rebellen kon worden gebruikt.