Gossage był zły na właściciela Yankees, George'a Steinbrennera, za wtrącanie się do drużyny. W 1982 roku nazwał Steinbrennera "tłustym człowiekiem na górze" i nie akceptował sposobu, w jaki manager Yankees, Billy Martin, go wykorzystywał. Gossage stał się wolnym agentem po sezonie 1983 i nalegał, że nie zrezygnuje z Nowego Jorku. Podpisał kontrakt z San Diego Padres. W 1984 roku, Gossage zdobył kolejny tytuł, zdobywając oszczędność w grze 5
Po tym, jak San Diego zdobyło cztery przebiegi w siódmej inningie, aby przejąć przewagę 6 na 3 przed Chicago Cubs, Gossage rzucił ostatnie dwie inningy, wprowadzając Jody Davis do gry siłowej w celu ostatecznego wyjścia. Podczas piątego meczu World Series 1984 przeciwko Detroit Tigers, Gossage, po otrzymaniu sygnałów od trenerów na ławce Padresów i odwiedzeniu kopca przez menedżera Padresów Dicka Williamsa, odmówił celowo chodzenia prawego piłkarza Kirka Gibsona. Na drugim boisku Gossage i Padres pożałowali tej decyzji, gdy Gibson uderzył w prawo boisko, co doprowadziło do wygranej Detroit Tigers w World Series. 17 sierpnia, Gossage uderzył Pete'a Rose'a w jego ostatnim meczu.