Germania nu a reușit să se bazeze pe succesul lor din 2002 și din nou a ieșit în prima rundă a Euro 2004
De data asta au egalat primele două meciuri şi au pierdut al treilea. Așa cum a fost cazul în 2000, echipa a ieșit pierzând în fața unei echipe mai slabe care a avansat deja, în acest caz Republica Cehă. Deși Germania a dominat meciul, nu a putut înscrie, pierzând în fața unui gol al Cehiei în pauză. Völler a demisionat ulterior, denunțând criticile constante ale mass-mediei într-un faimos interviu TV. Echipa națională a trebuit să-și găsească al treilea antrenor nou în șase ani după ce a avut doar șase antrenori în ultimii 75 de ani. Când potențiali candidați, printre care Ottmar Hitzfeld și Otto Rehhagel, au refuzat postul, fostul jucător al echipei naționale Jürgen Klinsmann, care nu a avut niciodată locuri de antrenor înainte, a fost numit. În stil similar cu fostul rol al lui Beckenbauer ca manager de echipă fără o licență de antrenor, experimentatul Joachim Löw din Stuttgart a fost numit să-l ajute.