După invazia germană a Uniunii Sovietice în 1941, lui Rall i s-au dat sarcini importante în apărarea şi evacuarea forţelor sovietice. A comandat retragerea în timpul evacuării sovietice din Tallinn
, în timpul căruia convoaiele de evacuare au suferit pierderi grele din cauza minelor. Amiralul lui Rall a fost scufundat şi el a suferit răni grave. După o lună de recuperare în spital, el a fost suficient de bine pentru a-și relua comanda și a ajutat la direcționarea apărării navale în timpul asediului Leningradului și a operațiunilor ofensive ulterioare, deoarece germanii au fost împins înapoi. Primind mai multe premii pentru serviciul său, Rall s-a întors la viața academică după război și a scris o serie de texte militare și istorice înainte de moartea sa în 1948.