Dokončete následující větu: Gossage se naštval na majitele Yankees George Steinbrennera za zasahování do týmu. V roce 1982 nazval Steinbrennera "tlustým mužem nahoře" a nesouhlasil s tím, jak ho manažer Yankees Billy Martin využil. Gossage se stal volným hráčem po sezóně 1983 a trval na tom, že nebude rezignovat s New Yorkem. Podepsal smlouvu se San Diego Padres. V roce 1984 získal Gossage další titul, získal záchranu v pátém zápase
Poté, co San Diego v sedmém zápase skóroval čtyři běhy, aby se dostal do vedení 6-3 proti Chicago Cubs, Gossage hodil poslední dva inningy, takže Jody Davis zasáhl do silového hraní pro finální out. Během páté hry Světové série 1984 proti Detroit Tigers, Gossage, poté, co obdržel znamení od trenérů na lavičce Padres a návštěvu na kopci manažerem Padres Dickem Williamsem, odmítl úmyslně chodit pravým hráčem Kirk Gibsonem. Na druhém hřišti by Gossage a Padres toho rozhodnutí litovali, protože Gibson přihrál do hlubokého pravého pole, což vedlo k vítězství Detroit Tigers ve Světové sérii. Dne 17. srpna 2003 Gossage udeřil Pete Roseovi v jeho posledním zápasu v hlavní lize.