Gossage pasipiktinęs "Yankees" savininku George Steinbrenner dėl kišimosi į komandą. 1982 m. jis pavadino Steinbrennerį "sveiku viršutiniame aukšte" ir nesutiko su tuo, kaip jį naudojo "Yankees" vadybininkas Billy Martinas. Gossage tapo laisvuoju agentu po 1983 m. Sezono ir tvirtino, kad jis neatsistatydins su Niujorku. Jis pasirašė su San Diego Padres. 1984 m. Gossage'as laimėjo dar vieną titulą, uždirbdamas išgelbėjimą
Po to, kai San Diegas septintoje rungtynėse surinko keturis varžybas, kad užimtų 6 prieš 3 pranašumą prieš "Chicago Cubs", Gossage per paskutinę dvi rungtynes iškovojo, kad Jody Davisas įmuštų į jėgos žaidimą. 1984 m. Pasaulio serijos 5-osios rungtynės prieš Detroito tigrus metu Gossage, gavęs Padres klubo trenerių ženklus ir Padres klubo vadovo Dicko Williamso apsilankymą, tyčia atsisakė vaikščioti dešiniojo lauko žaidėju Kirk Gibson. Antroje vietoje Gossage'as ir Padres'as apgailestavo dėl to sprendimo, kai Gibson'as iškovojo į dešinę lauką, o tai atvedė į "Detroito Tigers" pergalę. Rugpjūčio 17 d. Gossage'as nušovė Pete'ą Rose'ą paskutinėje Rose'o rungtynėse.