1406 andis Inglise kuningas saare inglase sir John Stanley otsese võimu alla. Viimase järeltulijad valitsesid saart üsna autonoomselt kuni 1736. aastani. Siis läks saar James Murray, Atholli hertsogi võimkonda ning kuigi kogu Briti kuningriiki sel ajal oluliselt tsentraliseeriti, jäi Mani saar ikka veel sisuliselt iseseisvaks. Selline vastuolu riigi üldise arenguga ärritas Briti trooni aga üha enam, ning 1765 tühistas Briti Parlament Mani saare autonoomia, tuues ettekäändeks salakaubanduse arendamise saarel. 1866. aastal vähendati saare omavalitsuslikke õigusi veelgi ning sellest ajast alates hakkas Briti kroon ise määrama ka saare haldurit (tiitel, mida Man saare haldur tänini kannab, on inglise keeles Lieutenant Governor).