עם מקלארן של פרוסט וניקי לאודה הדומיננטיים, ארנוקס היה פחות מוצלח בעונה השנייה בפרארי, רק סיים במקום השישי עם 27 נקודות, עם חברו החדש לקבוצה מישל אלבורטו בהדרגה לוקח את היוזמה ומנהיגות הקבוצה ממנו. לאחר שלושה ניצחונות וארבע נקודות הזינוק ב-1983, ארנוקס לא הצליח לנצח או לזכות בעמדת הזינוק ב-1984 (אלבורטו זכה בפרס הגדול של בלגיה מנקודה הזינוק כאשר ארנוקס החל במקום השני והסיים במקום השלישי), למרות שהוא סיים במקום השני בסן מרינו
ובדאלאס, שם הוא נאלץ להתחיל מהחריצים בגלל תקלה חשמלית בסיבוב ההתחממות והצליח לשמור על מכוניתו מחוץ לצרות על המסלול המתפורר. הגראנד פרי היחיד שנערך בדאלאס היה גם הפעם האחרונה שבה ארנוקס השיג סיום על הפודיום בפורמולה 1. ככל שהעונה התקדמה, נראה שארנו היה חסר מוטיבציה, ולאחר סיום במקום הרביעי במרוץ הפתיחה של אליפות ברזיל, הוא עזב את פרארי בהסכמה הדדית. מקומו בקבוצה הוחלף על ידי הנהג השוודי סטפן יוהנסון. הוא הופיע בבראבהאם אימולה בסיבוב השלישי, מה שגרם לשמועות שהוא יצטרף לקבוצה שהייתה בבעלות ברני אקלסטון, אך דבר לא יצא מזה והוא נדיר היה נראה במרוצים בשאר העונה.