22. kesäkuuta Saksan hyökkäys Neuvostoliittoon, operaatio Barbarossa, alkoi. Kesäkuun 27. päivään mennessä Punaisen armeijan kenraalipäälliköillä ei ollut läheskään luotettavaa tietoa Valko-Venäjän erityissotilaallisesta piiristä. Tilanteen selvittämiseksi Ivanov lensi Ilyushin Il-4 -koneella kahden hävittäjän saattuina tapaamaan rintaman komentajaa Dmitry Pavlovia. Lentojen jälkeen yli kahden saksalaisen panssarivaunujoukon, Ivanovin kone laskeutui 3. pitkän kantaman pommikoneen lentokeskuksen päämajaan. Heinäkuun 29. päivänä hänen koneensa lähti lentoon toisessa yrityksessä löytää Pavlovin päämaja, mutta se ammuttiin alas. Ivanov ja miehistö saivat sirpaleiden haavoja, ja hänet evakuoitiin Moskovaan hoitoon. Sairaalasta poistuttuaan hän opetti Frunzen sotilasakatemiassa ja osallistui Moskovan puolustukseen auttaen rakentamaan linnoituksia Poklonnayan kukkulan lähellä syyskuussa. Hänet evakuoitiin akatemian kanssa Keski-Aasiaan. Maaliskuussa 1942 Ivanovista tuli 60. armeijan 24. kiväärijoukon päällikkö. Hän taisteli Dneprin taistelussa syyskuussa 1943. Ivanov sai 20. syyskuuta Punaisen lipun ritarikunnan. Hän taisteli sitten
Kievin taistelu.