プレストとニキ・ラウダのマクラーレンが優勢で,アーノックスはフェラーリで第2シーズンをあまり成功せず,わずか27ポイントで6位で終え,新しいチームメイトのミシェル・アルボレトが徐々にイニシアティブとチームリーダーシップを引き継いだ. 1983年の3勝と4ポールポジションの後,アーノックスは1984年に勝利またはポールポジションを獲得できませんでした (アルベレトはポールからベルギーGPを勝ち,アーノックスは2位から3位で完走した),サンマリノとダラスで2位に終わったが,彼はウォーミングアップラップの電気故障のためにピットからスタートし,壊れつつあるトラックで車をトラブルから守ることができました. ダラスで開催された唯一のグランプリは,アルヌーがフォーミュラ1の表彰台に立つ最後の機会でもありました. シーズンが進むにつれ,アーヌックスはモチベーションが不足しているようで,ブラジルのチャンピオンシップのオープニングレースで4位を記録した後,彼は相互合意でフェラーリを去りました. スウェーデンのドライバーのステファン・ヨハンソンにチームでの彼の位置が取られた. ブラバムの穴で目撃されました
3ラウンドでイモラに勝利し,彼はバーニー・エクレストーンが所有していたチームに加わるという噂が飛び交ったが,何も起きず,彼は残りのシーズンのレースでほとんど見られなかった.