Badoer s-a întors în Formula 1 în 2004, din nou cu echipa Minardi. La Melbourne, Badoer a fost al cincilea la un moment dat până când problemele cu cutia de viteze l-au forțat să se retragă cu 15 ture înainte de final. Înainte de Brazilia, el a suferit un accident de testare care l-a lăsat cu o mână ruptă. Stéphane Sarrazin a luat locul lui pentru cursa. S-a întors la Imola.
Cu mâna încă cauzând probleme dar a reușit să termine al optulea. A suferit de probleme cu cutia de viteze şi a dat o tură în Monaco şi Spania. În iulie, pilotul numărul unu al Ferrari, Michael Schumacher, şi-a rupt piciorul într-un accident la Marele Premiu al Marii Britanii de la Silverstone. În calitate de pilot de testare al Ferrari, Badoer se aștepta să fie promovat la locul de curse în absența lui Schumacher, dar echipa a optat pentru Mika Salo, provocând critici din partea fostului pilot Ferrari, Jean Alesi, care a refuzat poziția. Cea mai bună șansă de a câștiga puncte a venit la haosul Grand Prix-ului European din 1999, doar pentru că defecțiunea cutiei de viteze l-a scos de 13 ture de la sfârșit, când a fost pe locul patru; coechipierul Marc Gené a fost promovat pe locul șase ca urmare (el va termina acolo pentru a câștiga punctul considerat în mod larg ca fiind factorul decisiv în Campionatul piloților din 1999, ținând în loc pe Eddie Irvine de la Ferrari după ce Mika Häkkinen de la McLaren l-a depășit în urma unei defecțiuni de mașină care l-a scos pe Jacques Villeneuve de pe poziția a cincea). Badoer a fost atât de supărat că a început să plângă după ce a ieşit din maşină.