Con los McLaren de Prost y Niki Lauda dominando, Arnoux tuvo una segunda temporada menos exitosa en Ferrari, terminando solo en sexto lugar con 27 puntos, con su nuevo compañero de equipo Michele Alboreto tomando progresivamente la iniciativa y el liderazgo del equipo de él. Después de tres victorias y cuatro pole positions en 1983, Arnoux no pudo ganar o reclamar una pole position en 1984 (Alboreto ganó el Gran Premio de Bélgica desde la pole con Arnoux comenzando segundo y terminando tercero), aunque terminó segundo en San Marino
y Dallas donde se vio obligado a comenzar desde los boxes debido a un fallo eléctrico en la vuelta de calentamiento y logró mantener su coche fuera de problemas en la pista desmoronándose. El único Gran Premio que se celebró en Dallas fue también la última vez que Arnoux logró un podio de Fórmula Uno. A medida que avanzaba la temporada, Arnoux parecía carecer de motivación, y después de terminar cuarto en la carrera inaugural del campeonato en Brasil, dejó Ferrari por mutuo consentimiento. Su lugar en el equipo fue tomado por el piloto sueco Stefan Johansson. Fue visto en los boxes de Brabham en Imola en la Ronda 3, provocando rumores de que se uniría al equipo entonces propiedad de Bernie Ecclestone, pero no salió nada y rara vez fue visto en carreras durante el resto de la temporada.