Wypełnij następujące zdanie: Z McLarenami Prosta i Niki Laudy dominującymi, Arnoux miał mniej udany drugi sezon w Ferrari, kończąc tylko na szóstym miejscu z 27 punktami, a jego nowy kolega Michele Alboreto stopniowo przejmował inicjatywę i kierownictwo zespołu od niego. Po trzech zwycięstwach i czterech pole positions w 1983 roku, Arnoux nie udało się wygrać lub uzyskać pole position w 1984 roku (Alboreto wygrał Grand Prix Belgii z pole z Arnoux zaczyna drugie i trzecie miejsce), choć zakończył drugi w
San Marino i Dallas, gdzie został zmuszony do startu z boksu z powodu awarii elektrycznej na okrążeniu rozgrzewczym i udało mu się utrzymać samochód z dala od kłopotów na rozpadającym się torze. Jedyny Grand Prix, jaki odbył się w Dallas, był również ostatnim, w którym Arnoux zdobył podium w Formule 1. Wraz z postępem sezonu Arnouxowi brakowało motywacji, a po ukończeniu czwartego miejsca w pierwszym wyścigu mistrzostw w Brazylii, opuścił Ferrari za obopólną zgodą. Jego miejsce w zespole zajął szwedzki kierowca Stefan Johansson. Był widoczny na boiskach Brabham w Imoli w trzeciej rundzie, wywołując pogłoski, że dołączy do zespołu należącego wtedy do Bernie'ego Ecclestone'a, ale nic z tego nie wyszło i rzadko był widoczny na wyścigach przez resztę sezonu.