Sezonul 2011-12 al lui Carter a început prost când a ieșit din primele două evenimente de clasare ale anului, Australian Goldfields Open
şi Masters din Shanghai, în prima rundă. La Campionatul Marii Britanii, l-a învins pe Robert Milkins, dar apoi a pierdut cu 2 la 6 în fața lui Mark Allen în ultimele 16 meciuri. După meci, Carter a declarat pe Twitter: "Mă voi retrage la sfârșitul sezonului! Și eu nu pot aștepta!" și că el a fost "mort serios" cu privire la amenințare. Mai târziu, el a recunoscut că comentariile au fost făcute "în căldura momentului", dar că el a avut unele "gânduri serioase de făcut la sfârșitul sezonului". Amenințarea cu retragerea sa părea mai probabilă, deoarece a pierdut în prima rundă la Masters și în următoarele două evenimente de clasare, iar apoi s-a retras din World Open din China din motive medicale. Deși a ajuns în sferturile de finală ale China Open cu victorii asupra lui Dominic Dale și Lu Ning înainte de a pierde cu 2<unk>5 în fața lui Ding Junhui, Carter s-a aflat în afara primelor 16 din lume pentru prima dată din 2005.