Gossage nusiminė dėl "Yankees" savininko George'o Steinbrennerio, nes jis kišėsi į komandą. 1982 m. jis pavadino Steinbrennerį "sveiku viršutiniame aukšte" ir nesutiko su tuo, kaip jį naudojo "Yankees" vadybininkas Billy Martinas. Gossage tapo laisvuoju agentu po 1983 m. Sezono ir tvirtino, kad jis neatsistatydins su Niujorku. Jis pasirašė su San Diego Padres. 1984 m. Gossage laimėjo dar vieną titulą, uždirbdamas išgelbėjimą NL čempionato serijos 5 žaidime.
San Diegas septintoje rungtynėse surinko keturis varžybas ir perėmė 6 prieš 3 pranašumą prieš "Chicago Cubs". Gossage'as žaidė paskutines dvi rungtynes, Jody Davis'as įmušė į jėgos žaidimą, kad galų gale išmuštų. 1984 m. Pasaulio serijos 5-osios rungtynės prieš Detroito tigrus metu Gossage, gavęs Padres klubo trenerių ženklus ir Padres klubo vadovo Dicko Williamso apsilankymą, tyčia atsisakė vaikščioti dešiniojo lauko žaidėju Kirk Gibson. Antroje vietoje Gossage'as ir Padres'as apgailestavo dėl to sprendimo, kai Gibson'as iškovojo į dešinę lauką, o tai atvedė į "Detroito Tigers" pergalę. Rugpjūčio 17 d. Gossage'as nušovė Pete'ą Rose'ą paskutinėje Rose'o rungtynėse.