プロストとニキ・ラウダのマクラーレンが優勢で,アーノックスはフェラーリで成功しない2年目を過ごし,わずか27ポイントで6位で,新しいチームメイトのミシェル・アルボレトが徐々に彼からイニシアティブとチームリーダーシップを引き継いでいた. 1983年の3勝と4つのポールポジションの後,アーヌックスは1984年に優勝したりポールポジションを獲得したりできなかった (アルベレトはベルギーGPをポールから優勝し,アーヌックスは2位から3位に終わった),しかし彼はサンマリノで2位に終わった.
ウォーミングアップラップで 電気の故障により ピットからスタートし 崩壊したコースで 車をトラブルから守ることができた ダラスで開催された唯一のグランプリは,アルヌーがフォーミュラ1の表彰台に立つ最後の機会でもありました. シーズンが進むにつれ,アーヌックスはモチベーションが不足しているようで,ブラジルのチャンピオンシップのオープニングレースで4位を記録した後,彼は相互合意でフェラーリを去りました. スウェーデンのドライバーのステファン・ヨハンソンにチームでの彼の位置が取られた. 彼はラウンド3でイモラのブラブハムピットで見られ,彼はバーニー・エクレストーンが所有していたチームに加わるだろうという噂を巻き起こしたが,何も起こらず,残りのシーズンのレースではほとんど見られなかった.