Gossage werd boos op Yankees-eigenaar George Steinbrenner omdat hij zich met het team bemoeide. In 1982 noemde hij Steinbrenner "de dikke man boven" en keurde de manier waarop Yankees' manager Billy Martin hem gebruikte af. Gossage werd na het seizoen 1983 een vrije agent en stond erop dat hij niet zou aftreden bij New York. Hij tekende bij de San Diego Padres. In 1984, Gossage behaalde een andere titel, het verdienen van de save in Game 5 van de NL Championship Series
Gossage gooide de laatste twee innings, waardoor Jody Davis een force play kreeg voor de laatste out. Tijdens wedstrijd 5 van de 1984 World Series tegen de Detroit Tigers, Gossage, na het ontvangen van tekenen van de coaches op de Padres bank en een bezoek aan de heuvel door Padres manager Dick Williams, weigerde opzettelijk te lopen rechts fielder Kirk Gibson. Gossage en de Padres zouden die beslissing betreuren... toen Gibson een homerun maakte... die de Detroit Tigers naar de World Series bracht. Op 17 augustus, Gossage sloeg Pete Rose in Rose's laatste major-league bij de knuppel.