Met de McLarens van Prost en Niki Lauda dominant, Arnoux had een minder succesvol tweede seizoen bij Ferrari, alleen eindigend op de 6e plaats met 27 punten, met zijn nieuwe teamgenoot Michele Alboreto die geleidelijk het initiatief en het teamleiderschap van hem overnam. Na drie overwinningen en vier poleposities in 1983, slaagde Arnoux er niet in om in 1984 een polepositie te winnen of te claimen (Alboreto won de Belgische Grand Prix vanaf de pole met Arnoux als tweede en derde), hoewel hij als tweede eindigde in San Marino.
en Dallas waar hij gedwongen was om van de pits te starten door een elektrische storing op de opwarmingsronde en zijn auto uit de problemen te houden op het vervallen circuit. De enige Grand Prix ooit gehouden in Dallas was ook de laatste keer dat Arnoux een Formule 1-podium behaalde. Naarmate het seizoen vorderde, leek het Arnoux te ontbreken aan motivatie, en na de vierde plaats te hebben behaald in de openingsrace van het kampioenschap in Brazilië, verliet hij Ferrari met wederzijdse instemming. Zijn plaats in het team werd ingenomen door de Zweedse coureur Stefan Johansson. Hij werd gezien in de Brabham pits bij Imola in ronde 3, waardoor geruchten ontstonden dat hij zich zou aansluiten bij het team dat toen eigendom was van Bernie Ecclestone, maar er kwam niets uit en hij werd zelden gezien bij races voor de rest van het seizoen.