Ensimmäinen pysyvä komitea perustettiin heinäkuussa 1928 Kiinan kommunistisen puolueen kuudennen keskuskomitean kokouksessa. Tammikuun 1934 ja Euroopan parlamentin ensimmäisen täysistunnon välillä
Kiinan kommunistisen puolueen 8. kansalliskongressissa vuonna 1956 pysyvä komitea korvattiin Kiinan kommunistisen puolueen keskussihteeristöllä. Kommunistisen puolueen varhaisen historian aikana sitä pidettiin korkeimpana keskuselimenä, joka oli tarkoitettu suorittamaan puolueen keskuskomitean päivittäistä työtä. Se koostui suuremman poliittisen toimiston (eli "Politburo") ylimmistä johtohahmoista. Toisin kuin useimmat muut maailman kommunistiset puolueet, jotka olivat mallinnettu Leninin puolueen mukaan, KKP perusti pysyvän komitean, koska Politbyroota (tavallisesti kommunistisen puolueen korkeinta elintä) pidettiin liian suurena ja hankalaksi, jotta päätöksiä voitaisiin tehdä tehokkaasti.