Í Phillies hélt hann áfram hlutverki sínu sem áreiðanlegur aukaspyrna og vann sér sinn annan All-Star-leik á sínu fyrsta tímabili í Philadelphia, þó að hann hafi ekki komið fram í leiknum. Eftir að hafa endað í öðru sæti fyrir Pirates árið 1975 unnu McGraw's Phillies deildarkórónu sína næstu þrjú tímabil. Þeir náðu hins vegar ekki að komast í World Series þar sem þeir voru sveipaðir af Cincinnati "Big Red Machine" í 1976 NLCS
, og féll fyrir Los Angeles Dodgers næstu tvö tímabil.