Po sovietų nesėkmės Žiemos kare, Rokossovskis buvo atstatytas dėl skubaus patyrusių pareigūnų poreikio. Po Vokietijos įsiveržimo į Sovietų Sąjungą, Rokossovskis vaidino pagrindinį vaidmenį gynyboje Maskvos ir priešpuoliuose Stalingrade ir
Kursk. Jis buvo svarbus planuojant ir vykdydamas dalį "Bagration" operacijos - vienos iš svarbiausių Raudonosios armijos sėkmės karo metu, už kurią jis buvo paskirtas Sovietų Sąjungos maršalu.