A következő mondatot fejezze be: A McLaren-ek Prost és Niki Lauda domináns, Arnoux kevésbé sikeres második szezonban a Ferrari, csak a 6. helyen végzett 27 ponttal, az új csapattársa Michele Alboreto fokozatosan veszi el a kezdeményezést és a csapat vezetését tőle. Három győzelem és négy pole pozíció után 1983-ban Arnoux nem tudott nyerni vagy pole pozíciót szerezni 1984-ben (Alboreto megnyerte a Belga Nagydíjat pole-ról, Arnoux második és harmadik helyen indult), bár második lett San Marinon és Dallasban, ahol kénytelen volt a bokkokból indulni egy elektromos hiba miatt az előmelegedési körön, és sikerült megtartania az autóját a romló pályán. Az egyetlen Dallas-i nagydíj volt az utolsó alkalom, amikor Arnoux dobogóra jutott a Forma-1-ben. A szezon előrehaladtával Arnouxnak motivációja hiányozott, és miután a brazil bajnokság megnyitó futamában negyedik lett, kölcsönös beleegyezéssel elhagyta a Ferrarit. A helyét a csapatban a svéd Stefan Johansson vette át. Látták a Brabham-ben.
Imola a 3. körben, ami azt a pletykát keltette, hogy csatlakozik a Bernie Ecclestone tulajdonában lévő csapathoz, de semmi sem jött ki belőle, és a szezon hátralévő részében ritkán látták versenyeken.