Ikteb kontinwazzjoni għal dan il-paragrafu - Bil-McLarens ta' Prost u Niki Lauda dominanti, Arnoux kellu staġun it-tieni inqas ta' suċċess f'Ferrari, u spiċċa biss fis-sitt post b'27 punt, bil-ħabib il-ġdid tiegħu Michele Alboreto progressivament jieħu l-inizjattiva u t-tmexxija tat-tim minnu. Wara tliet rebħiet u erba' pole positions fl-1983, Arnoux naqas milli jirbaħ jew jitlob pole position fl-1984 (Alboreto rebaħ il-Grand Prix tal-Belġju mill-pole b'Arnoux jibda fit-tieni post u jispiċċa fit-tielet), għalkemm spiċċa fit-tieni post f'San Marino
u Dallas fejn hu kien sfurzat li jibda mill- pits minħabba ħsara elettrika fuq il- lap warm-up u rnexxielhom iżommu karozza tiegħu barra mill- problemi fuq il- pista qsim. L-uniku Grand Prix li qatt sar f'Dallas kien ukoll l-aħħar darba li Arnoux kiseb podium fil-Formula 1. Hekk kif il-istaġun kompla, Arnoux deher li ma kellux motivazzjoni, u wara li spiċċa r-raba 'fil-garaxx tal-ftuħ tal-kampjonat fil-Brażil, huwa ħalla lil Ferrari bi qbil reċiproku. Il-post tiegħu fit-tim ġie meħud mis-sewwieq Svediż Stefan Johansson. Huwa deher fil-pits Brabham f'Imola fir-Rund 3, li qajjem xnigħat li kien se jingħaqad mat-tim li dak iż-żmien kien proprjetà ta 'Bernie Ecclestone, iżda ma sar xejn u kien rarament jidher f'kompetizzjonijiet għall-bqija tal-istaġun.