Kanthi McLaren saka Prost lan Niki Lauda sing dominan, Arnoux duwe musim kaping pindho sing kurang sukses ing Ferrari, mung rampung kaping 6 kanthi 27 poin, kanthi kanca tim anyar Michele Alboreto kanthi progresif njupuk inisiatif lan kepemimpinan tim saka dheweke. Sawisé telung kamenangan lan papat posisi pole ing taun 1983, Arnoux gagal menang utawa ngrebut posisi pole ing taun 1984 (Alboreto menang Grand Prix Belgia saka pole karo Arnoux diwiwiti nomer loro lan rampung nomer telu), sanajan dheweke dadi nomer loro ing San Marino
lan Dallas ing ngendi dheweke dipeksa miwiti saka pit amarga kesalahan listrik ing lap pemanasan lan ngatur kanggo njaga mobil metu saka alangan ing trek crumbling. Siji-sijine Grand Prix sing tau dianakake ing Dallas uga pungkasan Arnoux entuk podium Formula Siji. Nalika musim maju, Arnoux katon ora duwe motivasi, lan sawise rampung kaping papat ing balapan pambuka kejuaraan ing Brasil, dheweke ninggalake Ferrari kanthi persetujuan bebarengan. Panggonané ing tim iki dijupuk dening pembalap Swedia Stefan Johansson. Dheweke katon ing pit Brabham ing Imola ing Babak 3, nyebabake desas-desus yen dheweke bakal gabung karo tim sing diduweni dening Bernie Ecclestone, nanging ora ana sing kedadeyan lan dheweke jarang katon ing balapan kanggo sisa musim kasebut.