Wraz z dominującymi McLarenami Prosta i Niki Laudy, Arnoux miał mniej udany drugi sezon w Ferrari, kończąc tylko na szóstym miejscu z 27 punktami, a jego nowy kolega Michele Alboreto stopniowo przejmował inicjatywę i kierownictwo zespołu od niego. Po trzech zwycięstwach i czterech pole positions w 1983 roku, Arnoux nie zdołał wygrać ani zdobyć pole position w 1984 roku (Alboreto wygrał Grand Prix Belgii z pole, z Arnouxem zaczynającym drugi i kończącym trzeci), chociaż zajął drugie miejsce w San Marino
/i Dallas, /gdzie został zmuszony /do startu z boczków /z powodu awarii elektrycznej /na okrążeniu rozgrzewczym /i udało mu się uchronić samochód /od kłopotów na rozpadającym się torze. Jedyny Grand Prix, jaki odbył się w Dallas, był również ostatnim, w którym Arnoux zdobył podium w Formule 1. Wraz z postępem sezonu Arnouxowi brakowało motywacji, a po ukończeniu czwartego miejsca w pierwszym wyścigu mistrzostw w Brazylii, opuścił Ferrari za obopólną zgodą. Jego miejsce w zespole zajął szwedzki kierowca Stefan Johansson. Był widoczny na boiskach Brabham w Imoli w trzeciej rundzie, wywołując pogłoski, że dołączy do zespołu należącego wtedy do Bernie'ego Ecclestone'a, ale nic z tego nie wyszło i rzadko był widoczny na wyścigach przez resztę sezonu.