プレストとニキ・ラウダのマクラーレンが優勢で,アーノックスはフェラーリで第2シーズンをあまり成功せず,わずか27ポイントで6位で終え,新しいチームメイトのミシェル・アルボレトが徐々にイニシアティブとチームリーダーシップを引き継いだ. 1983年の3勝と4つのポールポジションの後,アーノックスは1984年に勝利またはポールポジションを獲得できませんでした (アルベレトはポールからベルギーのグランプリで優勝し,アーノックスは2位から3位に終えました).
サンマリノとダラスで 予備ラップの電気故障で ピットからスタートし 壊れそうなコースで 車をトラブルから守ることができました ダラスで開催された唯一のグランプリは,アルヌーがフォーミュラ1の表彰台に立つ最後の機会でもありました. シーズンが進むにつれ,アーヌックスはモチベーションが不足しているようで,ブラジルのチャンピオンシップのオープニングレースで4位を記録した後,彼は相互合意でフェラーリを去りました. スウェーデンのドライバーのステファン・ヨハンソンにチームでの彼の位置が取られた. 彼はラウンド3でイモラのブラブハムピットで見られ,彼はバーニー・エクレストーンが所有していたチームに加わるだろうという噂を巻き起こしたが,何も起こらず,残りのシーズンのレースではほとんど見られなかった.