Kambodžasse naastes ühines Pol Pot Kambodža kommunistliku  parteiga (toonase nimega Kampuchea Kommunistlik Rahvapartei). 1960. aastal kukutasid tema koos kaaslastega partei juhid ja nimetasid selle ümber Kampuchea Töölisparteiks (KTP). Pol Pot valiti tähtsuselt kolmandaks isikuks parteis ja 1963. aasta alguseks (pärast endise liidri saladuslikku kadumist) sai ta KTP uueks peasekretäriks (mis oli kõrgeim ametikoht parteis). Hiljem samal aastal lahkus ta koos oma lähimate liitlastega Phnom Penhist, minnes Kambodža-Vietnami piirile, et oma jõud ümber grupeerida ning nad rajasid laagri nimetusega "Kontor 100". Et õppida oma Vietnami seltsimeeste kogemustest, läks Pol Pot mööda kuulsat Ho Chi Minhi rada Hanoisse salanõupidamisele Vietnami Kommunistliku Partei tolleaegse peasekretäriLe Duaniga. Vietnamis toimus samal ajal sõda USAga ja Vietnam palus Pol Potilt Kambodža abi Vietnamile.