Herberger var neyddur til að þjálfa nýtt "stærri Þýskaland" lið (þar á meðal nú-sameinað Austurríki) sem þýddi að hann þurfti að taka þátt leikmenn frá nýlega óvirkt austurrískt lið. Þýska liðið, sem var í miklu uppáhaldi, var nú veikt af ókunnugum austurrísku viðbótunum, og var strax slegið út af Sviss í fyrstu umferð HM 1938.
, versti árangur Þýskalands á HM hingað til. Árangur liðsins var hindraður af síðari heimsstyrjöldinni og eftirfarandi viðurlögum gegn Þýskalandi, sem bannaði þeim að spila alþjóðlegan fótbolta.