1933 m. Sausio mėn. NSDAP (nacių partija) perėmė valdžią ir neteko laiko pereiti prie vieno partijos vyriausybės Vokietijoje. Visos politinės partijos (išskyrus nacių partiją) dabar buvo uždraustos, tačiau naujasis kancleris, opozicijoje, buvo ypač piktas dėl komunistų partijos. 1933 m. vasarį Roscheris emigravo į Čekoslovakiją. 1933 m. rugpjūčio mėn. grįžo į Vokietiją ir apsigyveno Drezdene, vėl pradėjęs (dabar nelegalią) partijos darbą, tačiau 1933 m. gruodį dėl sveikatos sutrikimų vėl buvo Prahoje, ligoninėje. Vėliau, tikriausiai 1934 m., partija išsiuntė jį į Charkivą (tuomet - Sovietų Sąjungoje), kur jis ilgai gydėsi ir taip pat dirbo partijos instruktoriumi. Kai 1936 m. prasidėjo Ispanijos pilietinis karas, jis prisijungė prie Tarptautinės brigados. Ispanijoje jis kovojo Edgar André batalionui. Tačiau jis buvo sunkiai sužeistas kovojant už Madrido ribų.
1936 metų lapkritį jis persikėlė į Paryžių, kur buvo įsikūrusi ištremtos Vokietijos komunistų partijos būstinė. 1939 m. Balandžio mėn. Jis buvo išvežtas į Sovietų Sąjungą, kur buvo apgyvendintas Peredelkino, dacha komplekso netoli Maskvos, Ispanijos pilietinio karo sužeistų kovotojų poilsio namuose. Čia jis mirė 1940 metų rugpjūtį.