Cu McLaren-urile lui Prost și Niki Lauda dominant, Arnoux a avut un al doilea sezon mai puțin reușit la Ferrari, terminând doar pe locul 6 cu 27 de puncte, cu noul său coechipier Michele Alboreto luând progresiv inițiativa și conducerea echipei de la el. După trei victorii și patru pole position-uri în 1983, Arnoux nu a reușit să câștige sau să obțină o pole position în 1984 (Alboreto a câștigat Marele Premiu al Belgiei de pe pole cu Arnoux care a început pe locul doi și a terminat pe locul trei), deși a terminat pe locul doi în San Marino și Dallas, unde a fost forțat să înceapă de la box din cauza unei defecțiuni electrice în timpul turului de încălzire și a reușit să-și păstreze mașina departe de probleme pe pistă. Singurul Grand Prix organizat vreodată în Dallas a fost și ultima dată când Arnoux a obținut un podium în Formula 1. Pe măsură ce sezonul a progresat, lui Arnoux i-a lipsit motivația, și după ce a terminat pe locul 4 în cursa de deschidere a campionatului din Brazilia, a părăsit Ferrari prin consimțământ mutual. Locul său în echipă a fost ocupat de șoferul suedez Stefan Johansson. A fost văzut în gropile Brabham de la Imola.
În runda a treia, au apărut zvonuri că se va alătura echipei deţinute atunci de Bernie Ecclestone, dar nimic nu s-a întâmplat şi el a fost rar văzut la curse pentru restul sezonului.