Syyskuussa 1259 Vilhelm Villehardouinista kukistettiin ja vangittiin monien aatelistensa kanssa Pelagonian taistelussa Nikean keisari Mikael VIII Palaiologoksen joukkojen toimesta. Kaksi vuotta myöhemmin niikaalaiset valloittivat Konstantinopolin uudelleen, lopettivat Latinalaisen valtakunnan ja palauttivat Bysantin valtakunnan. Tässä vaiheessa keisari teki vangitun prinssin kanssa sopimuksen: Vilhelm ja hänen miehensä vapautettaisiin vastineeksi uskollisuuden valan antamisesta ja Monemvasia, Grand Magne ja Mystras luovuttamisesta. Mystras luovutettiin vuonna 1262, ja siitä lähtien Mystras oli Bysantin Morean alueiden kuvernöörin päämaja. Aluksi tämä kuvernööri ("kephale") vaihdettiin vuosittain, mutta vuoden 1308 jälkeen heidät alettiin nimittää pidemmäksi ajaksi. Melkein heti palattuaan Moreaan Vilhelm Villehardouin hylkäsi valan keisari, ja sota syttyi Bysantin ja frankien välillä. Ensimmäiset bysanttilaisten yritykset kukistaa Akaan ruhtinaskunta kukistettiin Prinitsaan ja Makryplagiin
, mutta Bysantin joukot olivat vahvasti piilossa Lakoniassa. Sodankäynti muuttui yleiseksi, ja bysanttilaiset ajoivat hitaasti frankeja takaisin. Hyökkäysten ja vastahyökkäysten aiheuttama turvattomuus sai Lacedemonin asukkaat hylkäämään paljastetun kaupunkinsa ja asumaan Mystrasissa, uudessa kaupungissa, joka rakennettiin linnoituksen varjossa.