Věřili, že Pettitte je lepší nadhazovač, tak Yankees před sezónou 1996 vyměnili Hitchcocka. Pettitte začal sezonu v rotaci a na konci první poloviny sezóny měl rekord 13 na 4 a dostal se do All-Star týmu. V roce 1996 se nezúčastnil MLB All-Star Game kvůli bolesti v ruce. Vedl AL s 21 vítězstvími a skončil třetí v vítězství procento (.724), a osmý v ERA (3.87). S nejmenším rozdílem hlasování od roku 1972 skončil na druhém místě za Patem Hentgenem v soutěži o cenu AL Cy Young. Hentgen získal cenu částečně proto, že hrál více kompletních zápasů než Pettitte. Yankees porazili Texas Rangers v 1996 ALDS a Baltimore Orioles v 1996 American League Championship Series
(ALCS). Pettitte vyhrál dva zápasy proti Orioles, a měl svou příležitost pro třetí start v sérii zrušenou deštěm. Pettitte začal první zápas Světové série v roce 1996 proti Atlanta Braves. V prvním zápase připustil sedm běhů, ale v pátém zápase porazil Johna Smoltze, ve kterém Yankees vyhráli 1:0. Yankees porazili Braves v šestém zápase a vyhráli sérii, čtyři hry proti dvěma.