مع ماكلارينز برست ونيكي لاودا المهيمنين، ارنوكس كان له موسم ثان اقل نجاحا في فيراري، انهى في المركز السادس فقط ب 27 نقطة، مع زميله الجديد ميشيل البوريتو الذي اخذ تدريجيا المبادرة وقيادة الفريق منه. بَعْدَ ثَلاثِ فَوَائِزَ وَأَرْبَعَةِ أَوَاقٍ في عام 1983، فشلَ أَرْنُوكس في الفَوَائِزِ أو الإِطْلاَقِ على أَوَاقٍ في عام 1984 (فَازَ أَلْبُورِيتُو بِجَائِزَةِ بَلْجِيمَ مِنْ الْوَاقِفَةِ وَأَرْنُوكس بَدَأَ ثَانِيًا وَانْتَهَى ثَالِثًا) ، على الرغم من أنه أنهى ثَانِيًا في سان مارينو
و دالاس حيث كان مجبر على البداية من الحصون بسبب خلل كهربائي في جولة الاحماء و تمكن من ابقاء سيارته بعيدة عن المشاكل على المسار المتفتت. الجائزة الكبرى الوحيدة التي أقيمت في دالاس كانت ايضا اخر مرة ارنوكس حَقق فيها منصة التتويج في الفورمولا واحد. كَمَا تقدم الموسم، بَدَا أرنوكس يفتقر إلى الدافع، وبعد أن أنهى في المركز الرابع في السباق الافتتاحي للبطولة في البرازيل، غادر فيراري بموافقة متبادلة. مكانه في الفريق اخذه السائق السويدي ستيفان جوهانسون. رُؤيَ في حفرة برابهام في إيمولا في الجولة الثالثة ، مما أثار شائعات بأنه سينضم للفريق الذي كان يملكه بيرني إكليستون ، لكن لم يخرج منه شيء ونادراً ما رُؤي في السباقات لبقية الموسم.