Completar a seguinte frase: Con os McLaren de Prost e Niki Lauda dominando, Arnoux tivo unha segunda tempada menos exitosa en Ferrari, terminando en 6o lugar con 27 puntos, co seu novo compañeiro de equipo Michele Alboreto tomando progresivamente a iniciativa e o liderado do equipo. Despois de tres vitorias e catro pole positions en 1983, Arnoux non conseguiu gañar nin reivindicar unha pole position en 1984 (Alboreto gañou o Gran Premio de Bélxica desde a pole con Arnoux comezando segundo e terminando terceiro), aínda que terminou segundo en
San Marino e Dallas, onde foi forzado a comezar dos boxes debido a un fallo eléctrico na volta de calentamento e logrou manter o seu coche fóra de problemas na pista desmoronándose. O único Gran Premio celebrado en Dallas foi tamén a última vez que Arnoux logrou un podio de Fórmula Un. Coa progresión da tempada, Arnoux parecía carecer de motivación, e despois de terminar 4o na carreira inaugural do campionato en Brasil, deixou Ferrari por consentimento mutuo. O seu lugar no equipo foi tomado polo piloto sueco Stefan Johansson. Foi visto nos boxes de Brabham en Imola na Ronda 3, provocando rumores de que se uniría ao equipo entón propiedade de Bernie Ecclestone, pero non saíu nada e raramente foi visto en carreiras para o resto da tempada.