Scrie o continuare pentru acest paragraf - Cu Phillies, el a continuat rolul său ca un aruncător de ajutor de încredere, câștigând a doua carieră All-Star nod în primul său sezon în Philadelphia, deși el nu a apărut în joc. După ce au terminat pe locul al doilea după Pirates în 1975, McGraw's Phillies au câștigat coroana diviziei lor în următoarele trei sezoane. Cu toate acestea, nu au reușit să ajungă la World Series, deoarece au fost înlăturați de "Big Red Machine" din Cincinnati în 1976 NLCS
, și a căzut la Los Angeles Dodgers următoarele două sezoane.