مع ماكلارينز برست ونيكي لاودا المهيمنين، آرنوكس كان له موسم ثان اقل نجاحا في فيراري، انهى في المركز السادس فقط مع 27 نقطة، مع زميله الجديد ميشيل البوريتو يتخذ تدريجيا المبادرة وقيادة الفريق منه. بعد ثلاثة انتصارات وأربع مركزات في عام 1983، فشل آرنوكس في الفوز أو الحصول على مركز في عام 1984 (فاز ألبوريتو بجائزة بلجيكا الكبرى من المركز الأول مع بداية آرنوكس في المركز الثاني والانتهاء في المركز الثالث) ، على الرغم من أنه أنهى في المركز الثاني في سان مارينو
و دالاس حيث كان مجبر على البدء من الحظائر بسبب خلل كهربائي في جولة الاحماء و تمكن من ابقاء سيارته خارج المشاكل على المسار المتداعي. الجائزة الكبرى الوحيدة التي أقيمت في دالاس كانت أيضاً آخر مرة حقق فيها أرنوكس منصة التتويج في الفورمولا واحد. مع تقدم الموسم، بدا أن أرونو يفتقر إلى الدافع، وبعد إنهاء المركز الرابع في السباق الافتتاحي للبطولة في البرازيل، غادر فيراري بموافقة متبادلة. مكانه في الفريق أخذه السائق السويدي ستيفان جوهانسون. شوهد في حفرة برابهام في إيمولا في الجولة الثالثة، مما أثار شائعات بأنه سينضم للفريق الذي كان يملكه برني إكليستون، لكن لم يخرج منه شيء ونادراً ما شوهد في السباقات لبقية الموسم.