Pettitte buvo pirmasis "Core Four" žaidėjas, pasitraukęs iš žaidimo, paskelbęs savo sprendimą spaudos konferencijoje 2011 m. Vasario 4 d. Jis sakė organizacijai "neatsižvelgti į jo grįžimą" po to, kai "Yankees" prarado
2010 m. Amerikos lygos čempionato serija "Texas Rangers", nurodydamas norą daugiau laiko praleisti su šeima. Po to, kai praleido sezoną be beisbolo, jis tarnavo kaip svečio instruktoris "Yankees" per 2012 metų pavasario treniruotes ir tvirtino, kad jis negalvojo apie grįžimą. Tačiau paskutinę instruktoriaus dieną jis atšaukė savo sprendimą ir kovo 16 d. vėl prisijungė prie organizacijos, pasirašydamas 2,5 mln. JAV dolerių vertės smulkesnės lygos sutartį. 2013 m. rugsėjo 20 d. jis antrą kartą paskelbė apie savo išėjimą į pensiją. Nors iš pradžių jis nenorėjo atskleisti savo sprendimo, Rivera primygtinai reikalavo, kad jis galiausiai tai padarytų. Yankees penkis dienas vėliau, rugsėjo 25 dieną, surengė ceremoniją Pettitte'ui, kai jo kolegos iš "Core Four" Jeteris ir Rivera pristatė jam įraštą bazę iš jo paskutinio "Yankee Stadium" starto, pasirašytą visų jo komandos draugų. Paskutinį kartą jis pasirodė rugsėjo 28 dieną prieš "Houston Astros", vienintelę kitą komandą, kuriai jis žaidė savo karjeroje. Jis žaidė visą rungtynes - pirmą kartą nuo 2006 m. - ir laimėdamas paskutinį savo startą, jis baigė sezoną su 11-11 pergalių ir pralaimėjimų rekordu. Tai išsaugojė jo įrašus, kad per visą 18 metų karjerą jis niekada neturėjo pralaimėjamojo sezono ir buvo vienintelis krepšinys pagrindinės lygos istorijoje, turintis 15 laimėjusių sezonų (su mažiausiai trimis pradžia kiekvienai), nesuregistravęs pralaimėjamojo sezono.