Í framhaldi af þessari málsgrein - Með McLarens Prost og Niki Lauda yfirhöndlun, Arnoux hafði minna árangur annað tímabil hjá Ferrari, aðeins endaði 6. með 27 stig, með nýja liðsfélaga sinn Michele Alboreto smám saman að taka frumkvæði og liðsforystu frá honum. Eftir þrjá sigra og fjögur pole stöður árið 1983 náði Arnoux ekki að vinna eða krefjast pole stöðu árið 1984 (Alboreto vann Belgíska Grand Prix frá pole með Arnoux að byrja á öðru sæti og enda þriðja), þó að hann endaði á öðru sæti í San Marino
og Dallas ūar sem hann var neyddur til ađ byrja frá pittunum vegna rafmagnsbrots á upphitunarringi og tókst ađ halda bílnum sínum frá vandræđum á hruniđri brautinni. Eina Grand Prix sem haldið hefur verið í Dallas var einnig síðast þegar Arnoux náði stigamóti í Formúlu 1. Eftir því sem tímabilið gekk fram virtist Arnoux skortur á hvatningu og eftir að hafa endað í 4. sæti í upphafshlaupi meistaraflokksins í Brasilíu yfirgaf hann Ferrari með gagnkvæmu samþykki. Stað hans í liðinu var tekið af sænska ökumanninum Stefan Johansson. Hann var séð í Brabham pits á Imola í umferð 3, kveikja sögusagnir um að hann myndi ganga í liðið þá í eigu Bernie Ecclestone, en ekkert kom af því og hann var sjaldan séð á keppnum fyrir restina af tímabilinu.