Pagkompleto sa mosunod nga mga pulong: Uban sa McLarens sa Prost ug Niki Lauda nga nagmando, Arnoux adunay usa ka dili kaayo malampuson sa ikaduha nga panahon sa Ferrari, lamang paghuman sa ika-6 nga uban sa 27 puntos, uban sa iyang bag-ong teammate Michele Alboreto sa pag-uswag sa pagkuha sa inisyatibo ug team pagpangulo gikan kaniya. Human sa tulo ka mga kadaugan ug upat ka mga posisyon sa pole sa 1983, si Arnoux napakyas sa pagdaog o pag-angkon sa usa ka posisyon sa pole sa 1984 (Ang Alboreto nakadaog sa Belgian Grand Prix gikan sa pole uban sa Arnoux nga nagsugod sa ikaduha ug natapos sa ikatulo), bisan pa siya nahuman sa ikaduha sa
San Marino ug Dallas diin siya napugos sa pagsugod gikan sa mga pit tungod sa usa ka pagkadaot sa elektrisidad sa lap sa pag-warm-up ug nakahimo sa pagbantay sa iyang sakyanan gikan sa suliran sa nagkadunot nga track. Ang bugtong Grand Prix nga gihimo sa Dallas mao usab ang katapusang higayon nga si Arnoux nakab-ot ang usa ka Formula One podium finish. Sa pag-uswag sa panahon, si Arnoux nagpakita nga kulang sa pagdasig, ug human sa paghuman sa ika-4 sa ablihan nga lumba sa kampeonato sa Brazil, mibiya siya sa Ferrari pinaagi sa panag-uyon. Ang iyang dapit sa team gikuha sa Swedish driver Stefan Johansson. Siya nakita sa Brabham pit sa Imola sa Round 3, pag-aghat mga hungihong nga siya moapil sa team unya gipanag-iya sa Bernie Ecclestone, apan walay nahitabo ug siya talagsa ra makita sa mga lumba alang sa nahibilin sa panahon.