A Phillies-nél továbbra is megbízható segítő dobóként játszott, és második All-Star-játékát nyerte el az első Philadelphia-i szezonban, bár nem szerepelt a meccsen. Miután 1975-ben a Pirates után második lettek, McGraw Phillies a következő három szezonban megnyerte a divíziós koronát. Azonban nem tudtak eljutni a World Series-re, mivel a Cincinnati "Big Red Machine" elpusztította őket a
1976-ban az NLCS-ben, és a következő két szezonban a Los Angeles Dodgersnek esett el.