Sõdades kannatada saanud Paide kaotas oma tähtsuse sõjalise tugipunktina ning eemaldati 1636. aastal kindluste nimistust. Linnusevaremed ja neid ümbritsev linn annetati Mäo mõisnikule Lennart Torstensonile, ning Paide kaotas senised linnaõigused. Esimesed omanikud Lennart ja Axel Torstenson suhtusid Paide elanikesse heatahtlikult. 1669. aastal omandas Mäo mõisa Hans von Fersen ning tema ja tema järeltulijad protsessisid korduvalt Paide elanikega maksude ning maavalduste pärast.[21] Paide elanike ja Mäo mõisnike vaheline vaidlus jõudis isegi Svea õuekohtusse.[22] 14. mail 1696 andis Eestimaa kindralkuberner Axel Julius De la Gardie korralduse arvata Paide Mäo mõisa võimu alt välja. [23]