Dokonči nasledujúcu vetu: Gossage sa nahneval na majiteľa Yankees Georgea Steinbrennera za zasahovanie do tímu. V roku 1982 nazval Steinbrennera "tučným mužom na poschodí" a neschválil spôsob, akým ho manažér Yankees Billy Martin využil. Gossage sa stal voľným hráčom po sezóne 1983 a trval na tom, že neodstúpi z New Yorku. Podpísal zmluvu so San Diego Padres. V roku 1984 získal Gossage ďalší titul, vyhral záchranu v 5. zápase
Po tom, čo San Diego v siedmej inningu skórovalo štyri behy, aby viedli 6 ku 3 proti Chicago Cubs, Gossage hodil posledné dve inningy, čím dostal Jodyho Davisa do silnej hry pre posledný out. Počas piateho zápasu Svetovej série 1984 proti Detroit Tigers, Gossage, po prijatí znamení od trénerov na lavičke Padres a návšteve kopca manažérom Padres Dickom Williamsom, odmietol úmyselne chodiť na pravého hráča Kirk Gibson. Na druhom ihrisku Gossage a Padres ľutovali toto rozhodnutie, keď Gibson zabodoval do hlbokého pravého poľa, čo viedlo k víťazstvu Detroit Tigers vo Svetovej sérii. 17. augusta 2007 Gossage vyrazil Petea Rosea v jeho poslednom zápase v majorskej lige.