A Phillies-nél továbbra is megbízható segítő dobó volt, és második All-Star-játékát nyerte el az első Philadelphia-i szezonban, bár nem szerepelt a meccsen. Miután 1975-ben a Pirates után második lettek, McGraw Phillies a következő három szezonban megnyerte a divíziós koronát. Azonban képtelenek voltak elérni a World Series-t, mivel a Cincinnati "Big Red Machine" által elsöpörték őket az 1976-os NLCS-ben.
, és a következő két szezonban a Los Angeles Dodgers-hez került.