Pettitte foi o primeiro xogador do Core Four en retirarse, anunciando a súa decisión nunha conferencia de prensa no Yankee Stadium o 4 de febreiro de 2011. Díxolle á organización "que non contasen co seu regreso" despois de que os Yankees perdesen a Serie de Campionato da Liga Americana de 2010
aos Rangers de Texas, citando o seu desexo de pasar máis tempo coa súa familia. Despois de pasar a tempada fóra do béisbol, serviu como instrutor convidado para os Yankees durante o adestramento da primavera de 2012 e insistiu en que non estaba a considerar unha volta. Con todo, cambiou a súa decisión no seu último día como instrutor e volveu á organización o 16 de marzo, asinando un contrato de liga menor de 2,5 millóns de dólares. Lanzou en ambas as tempadas para os Yankees antes de anunciar a súa segunda xubilación o 20 de setembro de 2013. Aínda que inicialmente non ía revelar a súa decisión, foi por insistencia de Rivera que finalmente o fixo. Os Yankees celebraron unha cerimonia para Pettitte cinco días despois, o 25 de setembro, cos membros do Core Four Jeter e Rivera presentándolle unha base enmarcada da súa última partida no Yankee Stadium, asinada por todos os seus compañeiros de equipo. Fixo a súa última aparición o 28 de setembro contra os Houston Astros, o único outro equipo para o que lanzou na súa carreira. Lanzou un partido completo, o primeiro desde 2006, e ao gañar a súa última partida, rematou a tempada cun récord de 11 vitorias e 11 derrotas. Isto preservou os seus rexistros de nunca ter unha tempada perdedora ao longo da súa carreira de 18 anos e ser o único lanzador na historia da liga maior en ter 15 tempadas gañadoras (con un mínimo de tres comezos cada unha) sen rexistrar unha tempada perdedora.