Wierząc, że Pettitte jest lepszym miotaczem, Yankees wymienili Hitchcocka przed sezonem 1996. Rozpoczynając sezon w rotacji, Pettitte miał wynik 13 na 4 pod koniec pierwszej połowy sezonu i trafił do drużyny All-Star. W 1996 roku nie wystąpił w meczu gwiazd MLB z powodu bólu w ramieniu. Prowadził ligę z 21 zwycięstwami i zajął trzecie miejsce pod względem procent wygranych (.724), a ósme pod względem ERA (3.87). Był drugi za Patem Hentgenem w AL Cy Young Award, z najmniejszą różnicą w głosowaniu od 1972 roku. Hentgen zdobył nagrodę częściowo dlatego, że rzucał bardziej kompletne mecze niż Pettitte. Yankees pokonali Texas Rangers w 1996 ALDS i Baltimore Orioles w 1996 American League Championship Series
(ALCS). Pettitte wygrał dwa mecze przeciwko Orioles i miał szansę na trzeci start w serii odwołanej przez deszcz. Pettitte rozpoczął mecz 1 World Series 1996 przeciwko Atlanta Braves. Pozwolił na siedem przebiegów w pierwszej grze, ale wyprzedził Johna Smoltza w piątym meczu, w którym Yankees wygrali 1: 0. Yankees pokonali Braves w szóstym meczu i wygrali serię, cztery gry do dwóch.