A következő mondatot fejezze be: A McLaren-ek Prost és Niki Lauda domináns, Arnoux kevésbé sikeres második szezonban a Ferrari, csak a 6. helyen végzett 27 ponttal, az új csapattársa Michele Alboreto fokozatosan veszi el a kezdeményezést és a csapat vezetését tőle. Három győzelem és négy pole pozíció után 1983-ban Arnoux nem tudott nyerni vagy pole pozíciót szerezni 1984-ben (Alboreto megnyerte a Belga Nagydíjat a pole-ról, Arnoux második helyen indult és harmadik helyen végzett), bár második helyen végzett a
San Marinon és Dallasban, ahol egy elektromos hiba miatt a bokszból kellett indulnia a felmelegedési körön, és sikerült elkerülnie az autóját a bajoktól a romló pályán. Az egyetlen Dallas-i nagydíj volt az utolsó alkalom, amikor Arnoux dobogóra jutott a Forma-1-ben. A szezon előrehaladtával Arnouxnak motivációja hiányozott, és miután a brazil bajnokság megnyitó futamában negyedik lett, kölcsönös beleegyezéssel elhagyta a Ferrarit. A helyét a csapatban a svéd Stefan Johansson vette át. Látták őt az Imola Brabham boxában a 3. körben, ami azt sugallta, hogy csatlakozik a Bernie Ecclestone tulajdonában lévő csapathoz, de semmi nem jött ki belőle, és a szezon hátralévő részében ritkán látták a versenyeken.