See seisukord kestis umbes viiskümmend aastat. Siis tuli lossi saatusele niisugune pööre, millest arvates Saare-Läänemaa piiskopkonna maa-ala valitseja ei olnud enam ühtlasi ka Kolovere lossi omanik. Seega langes loss maakaitse vahendite nimekirjast välja, ja suures Põhjasõjas ei ole sellest midagi kuulda. Eraomandusena oli loss varjusurmas, millest ajalugu vaikib.