Sa mga McLaren ni Prost ug Niki Lauda nga nagmando, si Arnoux adunay dili kaayo malampuson nga ikaduhang panahon sa Ferrari, nga natapos lamang sa ika-6 nga adunay 27 puntos, uban sa iyang bag-ong kauban sa team nga si Michele Alboreto nga nag-uswag sa pag-una ug pagpangulo sa koponan gikan kaniya. Human sa tulo ka mga kadaugan ug upat ka mga posisyon sa poste sa 1983, si Arnoux napakyas sa pagdaog o pag-angkon sa usa ka posisyon sa poste sa 1984 (Ang Alboreto nakadaog sa Belgian Grand Prix gikan sa poste uban sa Arnoux nga nagsugod sa ikaduha ug paghuman sa ikatulo), bisan tuod siya nahuman sa ikaduha sa San Marino
ug sa Dallas diin siya napugos sa pagsugod gikan sa mga pit tungod sa usa ka electrical nga kapakyasan sa pag-warm-up lap ug nakahimo sa pagbantay sa iyang sakyanan gikan sa mga suliran sa nagkadunot nga track. Ang bugtong Grand Prix nga gihimo sa Dallas mao usab ang katapusang higayon nga si Arnoux nakab-ot ang usa ka Formula One podium finish. Sa pag-uswag sa panahon, si Arnoux nagpakita nga kulang sa pagdasig, ug human sa paghuman sa ika-4 sa ablihan nga lumba sa kampeonato sa Brazil, mibiya siya sa Ferrari pinaagi sa panag-uyon. Ang iyang dapit sa team gikuha sa Swedish driver Stefan Johansson. Siya nakita sa Brabham pit sa Imola sa Round 3, pag-aghat mga hungihong nga siya moapil sa team unya gipanag-iya sa Bernie Ecclestone, apan walay nahitabo ug siya talagsa ra makita sa mga lumba alang sa nahibilin sa panahon.