Despois da invasión alemá da Unión Soviética en 1941, Rall recibiu importantes tarefas na defensa e evacuación das forzas soviéticas. Comandou a retagarda durante a evacuación soviética de Tallin.
, durante o cal os convois de evacuación sufriron grandes perdas debido ás minas. O buque insignia de Rall afundíuse e el sufriu feridas graves. Tras un mes de recuperación no hospital, recuperou o suficiente para retomar o mando e axudou a dirixir as defensas navais durante o asedio de Leningrado e as posteriores operacións ofensivas cando os alemáns foron empurrados cara atrás. Recibindo varios premios polo seu servizo, Rall volveu á vida académica despois da guerra, e escribiu unha serie de textos militares e históricos antes da súa morte en 1948.