Badoer volveu á Fórmula Un en 2004, de novo co equipo Minardi. En Melbourne, Badoer correu ata o quinto lugar nalgún momento ata que os problemas da caixa de cambios o forzaron a retirarse con 15 voltas para rematar. Antes de Brasil, sufriu un accidente de probas que o deixou cunha man quebrada. Stéphane Sarrazin tomou o seu asento para a carreira. Volveu para Imola.
coa súa man aínda causando problemas pero logrou terminar oitavo. Sufriu problemas coa caixa de cambios e un giro en Mónaco e España. En xullo, o piloto número un de Ferrari, Michael Schumacher, rompeu a perna nun accidente no Gran Premio de Gran Bretaña en Silverstone. Como piloto de probas de Ferrari, Badoer esperaba ser promovido ao asento de carreira na ausencia de Schumacher, pero o equipo optou por Mika Salo, provocando críticas do ex piloto de Ferrari Jean Alesi, que rexeitara o cargo. A súa mellor oportunidade de gañar puntos foi no caótico Gran Premio de Europa de 1999, só por unha falla na caixa de cambios que o eliminou 13 voltas do final cando estaba en cuarta posición; o seu compañeiro de equipo Marc Gené foi promovido ao sexto lugar como resultado (acabaría alí para gañar o punto que se cre que foi o factor decisivo no Campionato de Pilotos de 1999, afastando a Eddie Irvine de Ferrari despois de que Mika Häkkinen de McLaren o superase tras unha falla no coche que eliminou a Jacques Villeneuve da quinta posición). Badoer estaba tan molesto que rompeu en bágoas despois de saír do coche.