A Prost és Niki Lauda McLaren-ei uralkodtak, Arnouxnak kevésbé sikeres volt a második szezonja a Ferrarinál, csak a 6. helyen végzett 27 ponttal, új csapattársa, Michele Alboreto fokozatosan átvette tőle a kezdeményezést és a csapatvezetést. Három győzelem és négy pole pozíció után 1983-ban Arnoux nem tudott nyerni vagy pole pozíciót szerezni 1984-ben (Alboreto megnyerte a Belga Nagydíjat a pole-ról, Arnoux második és harmadik helyen indult), bár második lett San Marinon
és Dallasban, ahol a felmelegedési körön egy elektromos hiba miatt kénytelen volt a bokszból indulni, és sikerült elkerülnie az autóját a bajoktól a romló pályán. Az egyetlen Dallas-i nagydíj volt az utolsó alkalom, amikor Arnoux dobogóra jutott a Forma-1-ben. A szezon előrehaladtával Arnouxnak motivációja hiányozott, és miután a brazil bajnokság megnyitó futamában negyedik lett, kölcsönös beleegyezéssel elhagyta a Ferrarit. A helyét a csapatban a svéd Stefan Johansson vette át. Látták őt az Imola Brabham boxában a 3. körben, ami azt sugallta, hogy csatlakozik a Bernie Ecclestone tulajdonában lévő csapathoz, de semmi nem jött ki belőle, és a szezon hátralévő részében ritkán látták a versenyeken.