"McLaren" komandos "Prost" ir "Niki Lauda" dominuojant, "Arnoux" turėjo mažiau sėkmingą antrą sezoną "Ferrari", pasibaigus 6-uoju su 27 taškais, o jo naujasis komandos draugas Michele Alboreto palaipsniui perėmė iniciatyvą ir komandos vadovybę iš jo. Po trijų pergalių ir keturių "pole" pozicijų 1983 m. Arnoux nesugebėjo laimėti ar užimti "pole" pozicijos 1984 m. (Alboreto laimėjo Belgijos Grand Prix iš "pole", o Arnoux pradėjo antrą ir baigė trečią), nors jis baigė antrą San Marino
ir Dalasas, kur jis buvo priverstas pradėti nuo bokso dėl elektros gedimo šildomasis ratas ir sugebėjo išlaikyti savo automobilį iš bėdų sulaužantis trasa. Vienintelis Grand Prix, kuris kada nors vyko Dalase, taip pat buvo paskutinis kartas, kai Arnoux pasiekė "Formulės 1" podiumą. Laikui bėgant pasirodė, kad Arnouxui trūksta motyvacijos, ir pasibaigus ketvirtuoju Brazilijos čempionato atidarymo lenktynėse, jis abipusiu sutikimu paliko "Ferrari". Jo vietą komandoje užėmė švedas Stefanas Johanssonas. Jis buvo matomas Brabham bokse Imola 3 raunde, sukeldamas gandus, kad jis prisijungia prie tada priklaususios Bernie Ecclestone komandos, tačiau nieko iš to nebuvo ir jis retai buvo matomas lenktynėse likusį sezoną.