Philliesin kanssa hän jatkoi rooliaan luotettavana avustavana syöttäjänä, ansaitsemalla toisen uransa All-Star-pöytänsä ensimmäisellä kaudellaan Philadelphiassa, vaikkei hän esiintynyt pelissä. Vuoden 1975 Piratesin jälkeisen sijoituksen jälkeen McGraw's Phillies voitti divisioonansa seuraavien kolmen kauden aikana. He eivät kuitenkaan päässeet World Series -sarjaan, koska Cincinnatin "Big Red Machine" pyyhkäisi heidät vuoden 1976 NLCS: ssä.
Seuraavina kaudina Los Angeles Dodgersin puolelle.