Loss ei jäänd kauaks varemeiks, kui Riia piiskopi ja Saare-Läänemaa piiskopi vahelise vaenu ajal saksa ordu juba 1430. a. selle võttis enda kätte. Sama aasta suvel aga käskis paavst Martin V Kolovere ühes Kuresaare, Haapsalu ja Lihula lossiga anda tagasi Saaremaa piiskopkonnale. 1439. a. arvates  oli Kolovere loss isegi piiskopi asukohaks.