Pantano miał zadebiutować w Formule 1 dla Jaguara, ale dwa dni przed podpisaniem umowy z zespołem zawarli umowę z Christianem Klienem, który był w stanie zdobyć 10 milionów dolarów od Red Bulla. Włoch zamiast tego podpisał kontrakt z Jordan Formula One na początku 2004 roku, a po minimalnych testach jego sezon okazał się kłopotliwy. W swoim pierwszym wyścigu w Melbourne zajął ostatnie miejsce, podczas gdy jego bardziej doświadczony kolega z zespołu, Nick Heidfeld, wycofał się z problemem z przekładnią. Kontynuował wyścigi, nigdy nie udało się zakwalifikować lub ukończyć wyżej niż w tyłach pola, i wycofał się przy kilku okazjach, nie przyciągając zbytniej uwagi. Został zastąpiony przez niemieckiego debiutanta Timo Glock (z powodów finansowych) w Grand Prix Kanadyjskim.
, który zdobył dwa punkty, kończąc na siódmym miejscu, przed kolegą z drużyny Nickiem Heidfeldem, który był ósmy. Pantano wrócił do swojego miejsca w zespole na następny wyścig w Indianapolis, ale wyjechał w pierwszym zakręcie po zderzeniu z innymi kierowcami. Kontynuował z bardziej rozczarowującymi wynikami aż do Grand Prix Włoch w Monzie, po czym został zastąpiony przez Timo Glock na pozostałe trzy wyścigi sezonu. Pantano później ujawnił, że to był jego własny wybór, aby przestać ścigać się z Jordanem z powodu finansowego obciążenia nałożonego na jego rodzinę i jego własnych uczuć, że zespół faworyzował jego kolegę z drużyny Heidfelda nad nim. Pantano był powiązany z powrotem do Formuły 1 z Campos Meta, ale zespół potwierdził, że dołączą do niego Bruno Senna i Karun Chandhok.