Creyendo que Pettitte era el mejor lanzador, los Yankees cambiaron a Hitchcock antes de la temporada de 1996. Comenzando la temporada en la rotación, Pettitte tenía un récord de 13 sobre 4 al final de la primera mitad de la temporada, y se convirtió en el equipo All-Star de la Liga Americana. No apareció en el Juego de Estrellas de la MLB de 1996, debido a un dolor en el brazo. Lideró la Liga Americana con 21 victorias y terminó tercero en porcentaje ganador (.724), y octavo en efectividad (3.87). Terminó segundo detrás de Pat Hentgen en el premio Cy Young de la Liga Americana, con la menor diferencia de votos desde 1972. Hentgen ganó el premio en parte porque lanzó juegos más completos que Pettitte. Los Yankees derrotaron a los Texas Rangers en el 1996 ALDS y a los Baltimore Orioles en el 1996 American League Championship Series
(ALCS) (en inglés) Pettitte ganó dos juegos contra los Orioles, y tuvo su oportunidad para una tercera salida en la serie cancelada por la lluvia. Pettitte comenzó el Juego 1 de la Serie Mundial de 1996 contra los Bravos de Atlanta. Permitió siete carreras en entradas en el primer juego, pero superó a John Smoltz en el Juego 5, que los Yanquis ganaron 1 <unk> 0. Los Yanquis derrotaron a los Bravos en el Juego 6 para ganar la serie, cuatro juegos a dos.