Pettitte volt az első játékos, aki visszavonult a Négyesből, a döntését egy sajtótájékoztatón jelentette be a Yankee Stadionban 2011. február 4-én. Azt mondta a szervezetnek, hogy "ne számítsanak a visszatérésére", miután a Yankees elvesztette a 2010-es American League bajnoki sorozatot.
hogy több időt töltsön a családjával. Miután a szezont a baseballtól távol töltötte, vendég oktatóként szolgált a Yankees számára a 2012-es tavaszi edzésen, és ragaszkodott ahhoz, hogy nem fontolgatja a visszatérést. Azonban az utolsó oktatói napján megváltoztatta a döntését, és március 16-án újra csatlakozott a szervezethez, aláírva egy 2,5 millió dolláros kisebb ligaszerződést. 2013 szeptember 20-án jelentette be második visszavonulását. Bár kezdetben nem akarta nyilvánosságra hozni a döntését, Rivera ragaszkodása miatt végül megtette. A Yankees öt nappal később, szeptember 25-én ünnepséget tartott Pettitte-nek, a Core Four tagjai, Jeter és Rivera bemutatta neki a Yankee Stadium utolsó kezdetének keretelt bázisát, amelyet minden csapattársa aláírt. Utoljára szeptember 28-án játszott a Houston Astros ellen, az egyetlen másik csapat ellen, amelyre pályázott karrierje során. 2006 óta először dobott egy teljes meccset, és az utolsó kezdő győzelmével a szezont 1111 győzelem-veszteség rekordjával fejezte be. Ez megőrizte a rekordját, hogy 18 éves pályafutása során soha nem volt vesztes szezonja, és ő az egyetlen dobó a főligák történelmében, aki 15 nyertes szezont (minimum három kezdéssel) nyert, anélkül, hogy vesztes szezont rögzített volna.