Pantano was klaar om zijn Formule 1-debuut te maken voor Jaguar, maar twee dagen voordat hij zou tekenen met het team sloten ze een deal met Christian Klien, die 10 miljoen dollar van Red Bull kon halen. De Italiaan tekende in plaats daarvan voor het Formule 1-team van Jordanië begin 2004, en na minimale testen bleek zijn seizoen lastig te zijn. Hij eindigde als laatste in zijn eerste race in Melbourne, terwijl zijn meer ervaren teamgenoot Nick Heidfeld met een transmissieprobleem met pensioen ging. Hij bleef racen, slaagde er nooit in om zich te kwalificeren of te eindigen hoger dan achter het veld, en ging bij verschillende gelegenheden met pensioen, zonder veel aandacht te trekken. Hij werd vervangen door de Duitse debuutant Timo Glock (vanwege financiële redenen) bij de Canadese Grand Prix.
, die twee punten scoorde en zevende eindigde, voor teamgenoot Nick Heidfeld die achtste was. Pantano keerde terug naar zijn plaats in het team voor de volgende race in Indianapolis, maar ging uit in de eerste bocht na een botsing met andere coureurs. Hij bleef met meer teleurstellende resultaten tot de Italiaanse Grand Prix in Monza, waarna hij werd vervangen door Timo Glock voor de resterende drie races van het seizoen. Pantano onthulde later dat het zijn eigen keuze was geweest om te stoppen met racen met Jordan vanwege de financiële last op zijn familie en zijn eigen gevoelens dat het team zijn teamgenoot Heidfeld boven hem begunstigde. Pantano werd in verband gebracht met een terugkeer naar de Formule 1 in 2009 met Campos Meta, maar het team bevestigde dat Bruno Senna en Karun Chandhok zich bij het team zouden voegen.