Kui Saksamaa oli Eesti vallutanud, sai Alfons Rebane 11. augustil kohapeal moodustatud Virumaa Omakaitse ülemaks. Juba 1. septembril astus ta Saksa Armee teenistusse. Ta määrati Rakveres moodustatud Sicherungsgruppe 184 15. kompanii ülemaks.