Després de la invasió alemanya de la Unió Soviètica el 1941, Rall va rebre importants tasques en la defensa i evacuació de les forces soviètiques. Va comandar la retaguarda durant l'evacuació soviètica de Tallinn.
, durant el qual els combois d'evacuació van patir greus pèrdues a causa de les mines. El vaixell insignia de Rall va ser enfonsat i va patir ferides greus. Després d'un mes recuperant-se a l'hospital, va estar prou bé per reprendre el comandament, i va ajudar a dirigir les defenses navals durant el setge de Leningrad, i les operacions ofensives posteriors quan els alemanys van ser rebutjats. En rebre diversos premis pel seu servei, Rall va tornar a la vida acadèmica després de la guerra, i va escriure una sèrie de textos militars i històrics abans de la seva mort el 1948.