Dengan McLaren dari Prost dan Niki Lauda yang mendominasi, Arnoux memiliki musim kedua yang kurang sukses di Ferrari, hanya finis di posisi keenam dengan 27 poin, dengan rekan setim barunya Michele Alboreto secara progresif mengambil inisiatif dan kepemimpinan tim darinya. Setelah tiga kemenangan dan empat posisi terdepan pada tahun 1983, Arnoux gagal untuk menang atau mengklaim posisi terdepan pada tahun 1984 (Alboreto memenangkan Grand Prix Belgia dari posisi terdepan dengan Arnoux memulai kedua dan finis ketiga), meskipun ia finis kedua di San Marino dan Dallas di mana ia terpaksa memulai dari pit karena kesalahan listrik pada putaran pemanasan dan berhasil menjaga mobilnya dari masalah di trek yang hancur. Satu-satunya Grand Prix yang pernah diadakan di Dallas juga merupakan terakhir kali Arnoux mencapai podium Formula Satu. Seiring berjalannya musim, Arnoux tampaknya kurang motivasi, dan setelah finis di posisi ke-4 dalam balapan pembukaan kejuaraan di Brasil, ia meninggalkan Ferrari dengan persetujuan bersama. Posisinya di tim diambil oleh pembalap Swedia Stefan Johansson. Dia terlihat di lubang Brabham di Imola
di putaran 3, memicu desas-desus bahwa ia akan bergabung dengan tim yang dimiliki oleh Bernie Ecclestone, tapi tidak ada yang terjadi dan ia jarang terlihat di balapan untuk sisa musim ini.