Täytä lause: Saksa ei onnistunut rakentamaan vuoden 2002 menestykseen ja hävisi jälleen ensimmäisellä kierroksella
Euro 2004, tällä kertaa tasapeli kahdessa ensimmäisessä ottelussa ja tappio kolmannessa. Kuten vuonna 2000, joukkue lähti häviämällä heikommalle puolelle, joka oli jo edennyt, tässä tapauksessa Tšekin tasavaltaan. Vaikka Saksa hallitsi ottelua, he eivät voineet tehdä maalia ja hävisivät Tšekin maaliin, joka oli saatu taukoajalla. Völler erosi sen jälkeen, kun hän tuomitsi jatkuvan median kritiikin kuuluisassa TV-haastattelussa. Kansallisjoukkue joutui etsimään kolmannen uuden valmentajansa kuuden vuoden aikana, kun se oli saanut vain kuusi valmentajaa edellisten 75 vuoden aikana. Ottmar Hitzfeldin ja Otto Rehhagelin mukaan lukien mahdolliset ehdokkaat hylkäsivät työn, ja entinen maajoukkueen pelaaja Jürgen Klinsmann, joka ei ollut koskaan aiemmin ollut valmentajan työpaikalla, nimitettiin. Samalla tavalla kuin Beckenbauerin entinen rooli joukkueen johtajana ilman valmentajan lupaa, kokenut Joachim Löw Stuttgartista nimitettiin auttamaan häntä.