גוסאז' כעס על הבעלים של הינקיז, ג'ורג' סטייןברנר, על התערבותו בקבוצה. ב-1982, הוא כינה את סטיינברנר "הגבר השמן למעלה", ולא אישר את הדרך בה מנכ"ל ה"יאנקיס", בילי מרטין, השתמש בו. גוסאז' הפך להיות סוכן חופשי לאחר עונת 1983, והתעקש שהוא לא יפרוש עם ניו יורק. הוא חתם עם סן דייגו פאדרס. ב-1984, גוסאז' זכה בתואר נוסף, וזכה בהצלה במשחק החמישי של סדרת האליפות.
לאחר שסאן דייגו כבש ארבעה ריצות בסיבוב השביעי ולקח 6-3 על שיקגו קאבס, גוסאז' הגיש את שני הסיבובים האחרונים, והביא את ג'ודי דייוויס להכות במשחק הכוח של הסיבוב האחרון. במהלך המשחק החמישי של סדרת העולם 1984 נגד דטרויט טייגרס, גוסאז', לאחר שקיבל סימנים מהמאמנים על ספסל הפדריס וביקור על העמדה על ידי מנהל הפדריס דיק וויליאמס, סירב בכוונה ללכת על השחקן הימני קירק גיבסון. על המגרש השני, גוסאז' והפאדריס היו מתחרטים על ההחלטה הזו, כשגיבסון חבט חבטה עמוקה אל השדה הימני, שהובילה לניצחון באליפות העולם עבור דיטרויט טייגרס. ב-17 באוגוסט, 2009, גוסאז' הוציא את פיט רוז מהמשחק.