Dokončete následující větu: S McLareny Prosta a Nikiho Laudy, Arnoux měl méně úspěšnou druhou sezonu u Ferrari, jen skončil na 6. místě s 27 body, jeho nový spoluhráč Michele Alboreto postupně převzal iniciativu a vedení týmu od něj. Po třech vítězstvích a čtyřech pole position v roce 1983 Arnoux nevyhrál ani nevyhrál pole position v roce 1984 (Alboreto vyhrál Velkou cenu Belgie z pole s Arnouxem, který začal druhý a skončil třetí), ačkoli skončil druhý v
San Marino a Dallas, kde byl nucen začít z boxů kvůli elektrické poruchě na zahřátí kola a podařilo se mu udržet jeho auto z problémů na rozpadající se trati. Jediná Grand Prix, která se kdy konala v Dallasu, byla také naposledy, kdy Arnoux dosáhl stupně vítězů ve formuli 1. V průběhu sezóny se zdálo, že Arnouxovi chybí motivace, a poté, co skončil čtvrtý v úvodním závodě šampionátu v Brazílii, opustil Ferrari vzájemnou dohodou. Jeho místo v týmu zaujal švédský jezdce Stefan Johansson. Byl spatřen v Brabhamových boxích v Imole ve třetím kole, což vyvolalo zvěsti, že se připojí k týmu, který tehdy vlastnil Bernie Ecclestone, ale nic z toho nevyšlo a po zbytek sezóny byl zřídka viděn na závodech.