V septembri 1939 vypukla vojna a pre väčšinu Parížanov sa okamžite zmenilo len málo vecí. To však nebola skúsenosť niekoľkých tisícov nemeckých politických utečencov, ktorí hľadali útočisko pred prenasledovaním a presťahovali sa do Paríža. Leo Bauer bol medzi tými, ktorí boli zatknutí v Paríži v septembri 1939. Bol držaný v niekoľkých koncentračných táboroch medzi tým a francúzsko-nemeckým prímerím.
z júna 1940. V júli 1940 sa mu podarilo utiecť do Švajčiarska so svojím spoločníkom z strany. V Švajčiarsku žil nelegálne pod identitou zamestnanca banky v Ženeve a pod menom "Paul-Eric Perret". Stal sa informátorom komunistickej strany ("Vertrauensmann") v západnom Švajčiarsku a zúčastňoval sa na "hraničnej práci" zahŕňajúcej francúzsko-švajčiarsku hranicu.