- Gossage se naštval na majitele Yankees George Steinbrennera, že se do týmu vměšoval. V roce 1982 nazval Steinbrennera "tlustým mužem nahoře" a nesouhlasil s tím, jak ho manažer Yankees Billy Martin využil. Gossage se stal volným hráčem po sezóně 1983 a trval na tom, že nebude rezignovat s New Yorkem. Podepsal smlouvu se San Diego Padres. V roce 1984 získal Gossage další titul, získal záchranu v pátém zápase NL Championship Series
a poslal Padres do jejich první World Series; poté, co San Diego v sedmém inningu skóroval čtyři běhy, aby získal vedení 6 na 3 proti Chicago Cubs, Gossage hodil poslední dva inningy a dostal Jodyho Davise do silného hraní pro finální out. Během páté hry Světové série 1984 proti Detroit Tigers, Gossage, poté, co obdržel znamení od trenérů na lavičce Padres a návštěvu na kopci manažerem Padres Dickem Williamsem, odmítl úmyslně chodit pravým hráčem Kirk Gibsonem. Na druhém hřišti by Gossage a Padres toho rozhodnutí litovali, protože Gibson přihrál do hlubokého pravého pole, což vedlo k vítězství Detroit Tigers ve World Series. Dne 17. srpna 2003 Gossage udeřil Pete Roseovi v jeho posledním zápasu v hlavní lize.