Dengan Phillies, ia melanjutkan perannya sebagai pitcher bantuan yang handal, mendapatkan karir kedua All-Star nod di musim pertamanya di Philadelphia, meskipun ia tidak muncul dalam permainan. Setelah menempati posisi kedua dari Pirates pada tahun 1975, McGraw's Phillies memenangkan mahkota divisi mereka tiga musim berikutnya. Mereka, bagaimanapun, tidak dapat mencapai World Series karena mereka disapu oleh Cincinnati "Big Red Machine" di 1976 NLCS
, dan jatuh ke Los Angeles Dodgers dua musim berikutnya.