Ljúka eftirfarandi setningu: Með McLaren-bílunum Prost og Niki Lauda sem voru ríkjandi, átti Arnoux minna árangur á öðru tímabili hjá Ferrari, endaði aðeins í 6. sæti með 27 stig, þar sem nýi liðsfélagi hans Michele Alboreto tók stigvaxandi frumkvæði og liðsstjórn frá honum. Eftir þrjá sigra og fjögur pole stöður árið 1983 náði Arnoux ekki að vinna eða krefjast pole stöðu árið 1984 (Alboreto vann Belgíska Grand Prix frá pole með Arnoux sem byrjaði á öðru sæti og endaði á þriðja sæti), þó að hann endaði á öðru sæti í San Marino og Dallas þar sem hann var neyddur til að byrja frá pittunum vegna rafmagns bilunar á upphitunarringi og náði að halda bílnum sínum frá vandræðum á hrynjandi brautinni. Eina Grand Prix sem haldið hefur verið í Dallas var einnig síðast þegar Arnoux náði stigamóti í Formúlu 1. Eftir því sem tímabilið gekk fram virtist Arnoux skortur á hvatningu og eftir að hafa endað í 4. sæti í upphafshlaupi meistaraflokksins í Brasilíu yfirgaf hann Ferrari með gagnkvæmu samþykki. Stað hans í liðinu var tekið af sænska ökumanninum Stefan Johansson. Hann var séđ í Brabham-göngunum á
Imola í 3. umferðinni, sem kveikti sögusagnir um að hann myndi ganga í liðið sem þá var í eigu Bernie Ecclestone, en ekkert kom út af því og hann var sjaldan séð á keppnum fyrir restina af tímabilinu.