Rebane palveli virkamiehenä virolaisessa armeijassa, kunnes Neuvostoliiton joukot valtasivat maan vuonna 1940. Neuvostoliitto hajotti ja absorboi suurimman osan Viron asevoimista ja pidätti ja teloitti koko Viron ylimmän johdon. Monet nuoremmista upseereista, kuten Rebane, erotettiin "poliittisen luotettavuuden" puutteesta ja heidät saatettiin karkottaa. Rebane työskenteli jonkin aikaa rakennusalalla. Sitten hän pakeni metsään, kun Neuvostoliitto aloitti joukko- karkotukset.
Vuonna 1941. Hän perusti ja johti Neuvostoliittoa vastustavan Metsäveljien yksikön Virumassa (Pohjois-Viro) toukokuussa 1941.