Post la germana invado de Sovetunio en 1941, Rall ricevis gravajn taskojn en la defendo kaj evakuado de sovetiaj trupoj. Li komandis la malantaŭan gardistaron dum la sovetia evakuado de Talino.
, dum kiu la evakuadkonvojoj suferspertis pezajn perdojn pro minoj. La flagŝipo de Rall sinkis kaj li suferis gravajn vundojn. Post monato resaniĝanta en hospitalo, li estis sufiĉe bona por rekomenci komandon, kaj helpis direkti la mararmean defendon dum la sieĝo de Leningrado, kaj postaj ofensivaj operacioj kiam la germanoj estis puŝitaj reen. Ricevante plurajn premiojn por sia servo, Rall revenis al la akademia vivo post la milito, kaj skribis kelkajn armeajn kaj historiajn tekstojn antaŭ sia morto en 1948.