Coa conquista otomana, o castelo perdeu gran parte da súa importancia estratéxica, aínda que foi ocupado polos venecianos durante a guerra otomán-veneciana de 1463-79, e atacado polos Cavaleiros de Malta en 1620. Durante o período de dominio veneciano no Peloponeso (1687-1715) despois da guerra de Morea
, serviu como sede dun distrito fiscal. Os informes dos gobernadores venecianos da época, con todo, descartan a Chlemoutsi como pequena en tamaño e apenas habitada. En 1701 o "provveditore generale" Francesco Grimani propuxo que fose destruído, xa que estaba demasiado lonxe do mar - unha preocupación vital para a República con mentalidade marítima - e difícil de defender, e recomendou que Glarentza, entón abandonada e en ruínas, fose reconstruída no seu lugar. En 1715, Morea volveu ao control otomán, e a principios do século XIX, a fortaleza estaba completamente deserta. En 1825, durante a Guerra de Independencia de Grecia, as forzas de Ibrahim Pasha de Exipto tomaron o castelo e desmantelaron unha parte das súas murallas, para que non puidese ser usado polos rebeldes gregos.