プロストとニキ・ラウダのマクラーレンが優勢で,アーノックスはフェラーリで成功しない2年目を過ごし,わずか27ポイントで6位で,新しいチームメイトのミシェル・アルボレトが徐々に彼からイニシアティブとチームリーダーシップを引き継いでいた. 1983年の3勝と4ポールポジションの後,アーノックスは1984年に勝利またはポールポジションを獲得できませんでした (アルベレトはポールからベルギーGPを勝ち,アーノックスは2位から3位で完走した),サンマリノとダラスで2位に終わったが,彼はウォーミングアップラップの電気故障のためにピットからスタートし,壊れつつあるトラックで車をトラブルから守ることができました. ダラスで開催された唯一のグランプリは,アルヌーがフォーミュラ1の表彰台に立つ最後の機会でもありました. シーズンが進むにつれ,アーヌックスはモチベーションが不足しているようで,ブラジルのチャンピオンシップのオープニングレースで4位を記録した後,彼は相互合意でフェラーリを去りました. スウェーデンのドライバーのステファン・ヨハンソンにチームでの彼の位置が取られた. イモラのブラブハム坑で目撃された
3ラウンドで,彼はバーニー・エクレストーンが所有していたチームに参加すると噂が飛び交ったが,何も出てこなかったし,彼はシーズン残りのレースではほとんど見られなかった.