Maaliskuussa 1938 saksalaiset joukot tulivat Itävaltaan, minkä jälkeen tapahtui nopea yhdentyminen, joka antoi alkunsa "Suurelle Saksalle", joka sisällytti tähän mennessä kaksi erillistä valtiota. Muutama päivä sen jälkeen, kun armeijat olivat saapuneet lännessä, Gestapo pidätti Franz Rauscherin, mutta hän vapautettiin viikon kuluttua. Hän löysi työpaikan. Vuonna 1939 Gestapo kuitenkin pidätti hänet uudelleen. Tällä kertaa hänet siirrettiin Buchenwaldin keskitysleiriin, jossa hän vietti seuraavat kuusi vuotta valtion vankilassa. Jollain vaiheessa toisen maailmansodan aikana, joka kesti tässä osassa Eurooppaa vuodesta 1939 vuoteen 1945, hänet siirrettiin Majdanekin keskitysleiriin miehitetyssä Puolassa.
- Mitä? Pian ennen sodan päättymistä hänet joko vapautti Punainen armeija tai hän onnistui pakenemaan keskitysleiristä, kun Natsi-Saksan valtion infrastruktuuri romahti. Hän palasi Itävaltaan ja saapui Salzburgiin 14. huhtikuuta 1945. Neuvostoliiton ja länsimaiden hallitukset olivat jo julistaneet vuoden 1938 Saksan ja Itävallan yhdistämisen mitättömäksi, ja kahden viikon kuluttua Rauscherin saapumisesta Salzburgin rajalle Wieniin, liittokansleri Rennerin johdolla, oli ennakoitu maan uusien herrojen vaatimukset kolmen tärkeimmän poliittisen puolueen (joihin kuului sosiaalidemokraatit) johtajien allekirjoittamalla 27. huhtikuuta 1945.