Gossage reiđist yfir eiganda Yankees, George Steinbrenner, fyrir ađ blanda sér í liđiđ. Árið 1982 kallaði hann Steinbrenner "fitta manninn uppi" og var ósáttur við hvernig Billy Martin framkvæmdastjóri Yankees notaði hann. Gossage varð frjáls leikmaður eftir tímabilið 1983 og hélt því fram að hann myndi ekki segja af sér með New York. Hann skrifađi undir hjá San Diego Padres. Árið 1984 vann Gossage enn einn titilinn, og vann björgunina í fimmta leiknum.
Gossage var að spila síðustu tvær inningar og fékk Jody Davis til að slá inn í kraftleik fyrir lokaútkomuna. Í fimmta leiknum í World Series 1984 gegn Detroit Tigers neitaði Gossage, eftir að hafa fengið merki frá þjálfurunum á bekknum Padres og heimsókn Padres framkvæmdastjóra Dick Williams, til að ganga á hægri velli Kirk Gibson. Á annarri völlunni munu Gossage og Padres sjá eftir þeirri ákvörðun ūar sem Gibson skorađi á hægri völlinn sem leiddi til World Series sigurs fyrir Detroit Tigers. Þann 17. ágúst sló Gossage Pete Rose út í síðasta leik hans í úrvalsdeildinni.