Creendo que Pettitte era o lanzador superior, os Yankees cambiaron a Hitchcock antes da tempada de 1996. Comezando a tempada na rotación, Pettitte tivo un récord de 13 sobre 4 ao final da primeira metade da tempada, e fixo o equipo All-Star da Liga Americana. Non apareceu no MLB All-Star Game de 1996, debido a un brazo dolorido. Liderou a Liga Americana con 21 vitorias e terminou terceiro na porcentaxe de vitorias (.724), e oitavo na ERA (3.87). Terminou segundo detrás de Pat Hentgen no Cy Young Award da Liga Americana, coa menor diferenza de votos desde 1972. Hentgen gañou o premio en parte porque lanzou xogos máis completos que Pettitte. Os Yankees derrotaron aos Texas Rangers en 1996 e aos Baltimore Orioles en 1996 na Serie de Campionato da Liga Americana.
(ALCS). Pettitte gañou dous partidos contra os Orioles, e tivo a súa oportunidade para unha terceira partida na serie cancelada pola choiva. Pettitte comezou o xogo 1 da Serie Mundial de 1996 contra os Atlanta Braves. Permitiu sete corridas en entradas no primeiro xogo, pero superou a John Smoltz no xogo 5, que os Yankees gañaron 1 <unk> 0. Os Yankees derrotaron aos Braves no sexto xogo para gañar a serie, catro partidos a dous.