Eftir innrás Þjóðverja í Sovétríkin árið 1941 fékk Rall mikilvæga verkefni í varnar- og útrýmingarmálum Sovétríkjanna. Hann var í forystu fyrir bakvörđinni í rússaflækkun Tallinn.
, þar sem útrýmingarferðirnar urðu fyrir miklum tapi vegna minna. Flagskip Rall var sökkt og hann meiddist alvarlega. Eftir að hafa verið á sjúkrahúsi í mánuð var honum nógu gott til að taka við herstjórn og hjálpaði til við að stjórna hervörnum á meðan Leningrad var umkringt og í ofbeldisárásum eftir að Þjóðverjar voru reknir til baka. Rall hlaut nokkrar verðlaun fyrir þjónustu sína og sneri aftur til fræðilegs lífs eftir stríðið og skrifaði fjölda hernaðar- og sögulegra texta áður en hann dó árið 1948.