Pettitte był pierwszym graczem z Core Four, który zrezygnował, ogłaszając swoją decyzję na konferencji prasowej na Yankee Stadium 4 lutego 2011 roku. Powiedział organizacji "nie liczyć na jego powrót" po Yankees stracił 2010 American League Championship Series
do Texas Rangers, powołując się na jego pragnienie spędzania więcej czasu z rodziną. Po spędzeniu sezonu z dala od baseballu, służył jako gościnny instruktor dla Yankees podczas wiosennych treningów w 2012 roku i nalegał, że nie rozważa powrotu. Jednakże zmienił swoją decyzję w ostatnim dniu jako instruktor i ponownie dołączył do organizacji 16 marca, podpisując kontrakt o wartości 2,5 miliona dolarów. Grał w obu sezonach dla Yankees przed ogłoszeniem swojej drugiej emerytury 20 września 2013 roku. Chociaż początkowo nie zamierzał ujawnić swojej decyzji, to na nalegań Rivery w końcu to zrobił. Pięć dni później, 25 września, Yankees zorganizowali uroczystość dla Pettitte'a, podczas której Jeter i Rivera, członkowie Core Four, zaprezentowali mu oprawioną bazę z jego ostatniego startu na Yankee Stadium, podpisaną przez wszystkich jego kolegów z drużyny. Ostatni raz wystąpił 28 września przeciwko Houston Astros, jedynej innej drużynie, dla której rzucał w swojej karierze. Pierwszy raz od 2006 roku rzucił kompletny mecz i wygrywając swój ostatni start, zakończył sezon z rekordem 11 zwycięstw i 11 porażek. Dzięki temu zachował swoje rekordy, nigdy nie miał sezonu przegranego w ciągu swojej 18-letniej kariery i był jedynym rzucającym w historii ligi głównej, który miał 15 zwycięskich sezonów (z minimum trzema startami w każdym) bez nagrywania sezonu przegranego.