S McLarenom Prosta a Nikim Laudom dominujúcim, Arnoux mal menej úspešnú druhú sezónu vo Ferrari, skončil iba na šiestom mieste s 27 bodmi, pričom jeho nový spoluhráč Michele Alboreto postupne prevzal iniciatívu a vedenie tímu od neho. Po troch víťazstvách a štyroch pole pozíciách v roku 1983 Arnoux nevyhral ani nevyhral pole pozíciu v roku 1984 (Alboreto vyhral Belgickú veľkú cenu z pole s Arnouxom, ktorý začal druhý a skončil tretí), hoci skončil druhý v San Maríne
a Dallas, kde bol nútený začať z boxov kvôli elektrickým poruchám na zahrevacom kole a podarilo sa mu udržať auto mimo problémov na rozpadajúcej sa trati. Jediná veľká cena, ktorá sa kedy konala v Dallasu, bola tiež poslednýkrát, keď Arnoux dosiahol pódium vo Formule 1. V priebehu sezóny sa zdalo, že Arnouxovi chýba motivácia, a po skončení 4. miesta v úvodnom preteku majstrovstiev v Brazílii opustil Ferrari na základe vzájomnej dohody. Jeho miesto v tíme zaujal švédsky jazdca Stefan Johansson. V treťom kole bol videný na boxoch Brabham v Imole, čo vyvolalo zvesti, že sa pripojí k tímu, ktorý vtedy vlastnil Bernie Ecclestone, ale nič z toho nevyšlo a po zvyšok sezóny bol zriedka videný na pretekoch.