Í framhaldi af þessari málsgrein - Með McLarens Prost og Niki Lauda yfirhöndlun, Arnoux hafði minna árangur annað tímabil hjá Ferrari, aðeins endaði 6. með 27 stig, með nýja liðsfélaga sinn Michele Alboreto smám saman að taka frumkvæði og liðsforystu frá honum. Eftir þrjá sigra og fjögur pole stöður árið 1983 náði Arnoux ekki að vinna eða krefjast pole stöðu árið 1984 (Alboreto vann Belgíska Grand Prix frá pole með Arnoux sem byrjaði á öðru sæti og endaði á þriðja sæti), þó að hann endaði á öðru sæti í San Marino og Dallas þar sem hann var neyddur til að byrja frá pittunum vegna rafmagns bilunar á upphitunarringi og náði að halda bílnum sínum frá vandræðum á hrynjandi brautinni. Eina Grand Prix sem haldið hefur verið í Dallas var einnig síðast þegar Arnoux náði stigamóti í Formúlu 1. Eftir því sem tímabilið gekk fram virtist Arnoux skortur á hvatningu og eftir að hafa endað í 4. sæti í upphafshlaupi meistaraflokksins í Brasilíu yfirgaf hann Ferrari með gagnkvæmu samþykki. Stað hans í liðinu var tekið af sænska ökumanninum Stefan Johansson. Hann var séđ í Brabham-göngunum í Imola.
Í ūriđju umferđinni, sem kveikti sögusagnir um ađ hann myndi ganga í liđiđ sem Bernie Ecclestone átti á ūessum tíma, en ekkert kom út úr ūví og hann var sjaldan séđur á keppnum eftir verđan tímabiliđ.