Durante a invasión alemá da Unión Soviética en 1941, Rall foi nomeado comandante da posición defensiva oriental o 25 de xuño e supervisou a instalación de baterías costeiras nas illas de Bolshoy Tyuters e Lavensaari, e a colocación de campos de minas no Golfo de Finlandia. A continuación, foi encargado de participar na complicada operación para evacuar os buques da Frota do Báltico do sitiado Tallin
e traelos a Kronstadt. A Rall foi dado o mando da retagarda. Con tres rutas de evacuación posibles, Rall aconsellou tomar a máis meridional. A pesar de que este pasouse a través de augas pouco profundas e ao longo de 200 millas de costa ocupada con baterías costeiras inimigas, Rall sinala que as baterías costeiras consistían principalmente en canóns de campo lixeiros, que podían ser facilmente suprimidos pola artillería naval soviética, e que 200 buques fixeron a pasaxe sen dificultade. O consello foi rexeitado polo marechal Kliment Voroshilov, comandante do Frente de Leningrado, que, preocupado pola posibilidade de que as tripulacións letonas e estonias, e mesmo os mariñeiros soviéticos, desertasen ao inimigo, ordenou a Rall e ao seu superior, o almirante Vladimir Tributs, que tomasen a ruta do medio, a pesar de que fora moi minada polas forzas inimigas. Os convois de evacuación pronto comezaron a sufrir grandes perdas por minas e ataques aéreos. O buque insignia de Rall, o destructor "Kalinin", chocou contra unha mina e comezou a afundirse. O destructor "Volodarskiy" chegou ao lado para sacar a tripulación, pero tamén chocou contra unha mina e afundíuse. Rall, ferido e con conmoción cerebral, foi levado a bordo dun cutter. Finalmente foi levado de volta a Kronstadt cos superviventes da forza de evacuación. Mentres a dirección soviética reivindicou unha vitoria na evacuación dun número de tropas e refuxiados, Rall comentou que fora un "Segundo Tsushima", referíndose á pesada derrota na Batalla de Tsushima durante a Guerra Ruso-Xaponesa.