Badoer palasi Formula 1:een vuonna 2004 taas Minardi-joukkueessa. Melbournessa Badoer ajoi jopa viidenneksi jossain vaiheessa, kunnes vaihteiston ongelmat pakottivat hänet lopettamaan 15 kierrosta ennen loppua. Ennen Brasiliaa hän kärsi koeajoneuvon onnettomuudesta, jonka seurauksena hänellä oli murtunut käsi. Stéphane Sarrazin otti paikkansa. Hän palasi Imolaan.
Hänen kätensä aiheutti ongelmia, mutta hän pääsi kahdeksanneksi. Hän kärsi vaihteisto-ongelmista ja pyörähti Monakoon ja Espanjaan. Heinäkuussa Ferrarin ykköslentäjä Michael Schumacher mursi jalkansa onnettomuudessa Silverstoneen. Ferrarin testiajana Badoer odotti ylennystä Schumacherin poissaollessa, mutta joukkue valitsi Mika Salon sen sijaan, mikä herätti kritiikkiä entisestä Ferrarin kuljettajasta Jean Alesi, joka oli itse kieltäytynyt asemasta. Hänen paras mahdollisuutensa saada pisteitä tuli kaoottisessa vuoden 1999 Euroopan Grand Prix -kilpailussa, vain vaihteiston epäonnistumisen vuoksi, joka vei hänet 13 kierrosta lopusta, kun hän juoksi neljännessä sijalla; joukkuetoverinsa Marc Gené ylennettiin kuudenneksi tuloksena (hän pääsi sinne saamaan pisteen, jonka uskotaan olevan ratkaiseva tekijä vuoden 1999 kuljettajien mestaruudessa, pysäyttäen Ferrarin Eddie Irvinen, kun McLarenin Mika Häkkinen oli ohittanut hänet auton epäonnistumisen jälkeen, joka vei Jacques Villeneuven viidennestä sijasta). Badoer oli niin järkyttynyt, että hän alkoi itkeä noustuaan autosta.