Pettitte bol prvým hráčom z Core Four, ktorý odišiel do dôchodku, oznámil svoje rozhodnutie na tlačovej konferencii na Yankee Stadium 4. februára 2011. Povedal organizácii, aby "nepočítali s jeho návratom" po tom, čo Yankees prehrali v roku 2010 Americkú ligovú šampionátovú sériu
Texas Rangers, s odvolaním sa na túžbu tráviť viac času so svojou rodinou. Po tom, čo strávil sezónu mimo baseballu, slúžil ako hosťujúci inštruktor pre Yankees počas jarných tréningov v roku 2012 a trval na tom, že neuvažoval o návrate. Avšak, zmenil svoje rozhodnutie v posledný deň ako inštruktor a vrátil sa do organizácie 16. marca, podpísal zmluvu s menšou ligou vo výške 2,5 milióna dolárov. Hral pre Yankees v sezóne 2012 a 2013 predtým, ako 20. septembra 2013 oznámil svoj druhý odchod do dôchodku. Hoci pôvodne nechcel odhaliť svoje rozhodnutie, bolo to na Riverovom naléhaní, že to nakoniec urobil. Yankees usporiadali obrad pre Pettitteho o päť dní neskôr, 25. septembra, s kolegami Core Four Jeterom a Riverou, ktorí mu predstavili rámovanú základňu z jeho posledného štartovania na Yankee Stadium, podpísanú všetkými jeho spoluhráčmi. Jeho posledný zápas bol 28. septembra proti Houston Astros, jedinému tímu, pre ktorý hral vo svojej kariére. Prvýkrát od roku 2006 hral kompletný zápas a tým, že vyhral svoj posledný štart, ukončil sezónu s rekordom 11 <unk> 11 víťazstiev <unk> 11 porážok. Tým si zachoval svoje rekordy, že počas svojej 18-ročnej kariéry nikdy nemal porazenú sezónu a bol jediným nadávateľom v histórii hlavnej ligy, ktorý mal 15 víťazných sezóny (s minimom troch štartov každý) bez zaznamenania porazeného sezóny.