Andika mwendelezo wa fungu hili - Mnamo 1948 akiwa na umri wa miaka ishirini, Shevardnadze alijiunga na Chama cha Kikomunisti cha Georgia (GCP) na Chama cha Kikomunisti cha Umoja wa Kisovyeti (CPSU). Alipanda kwa kasi katika safu ya Komsomol ya Georgia na baada ya kutumikia muhula kama Katibu wa Pili, akawa Katibu wa Kwanza. Alipokuwa Katibu wa Kwanza wa Komsomol, Shevardnadze alikutana na Mikhail Gorbachev kwa mara ya kwanza. Shevardnadze alisema kwamba alivunjika moyo na mfumo wa kisiasa wa Urusi kufuatia "Hotuba ya Siri" ya Nikita Khrushchev kwa Kongamano la 20 la CPSU. Kama ilivyokuwa kwa Wasovieti wengi, Shevardnadze alishtushwa na uhalifu uliofanywa na Joseph Stalin, na jinsi serikali ya Sovieti ilivyoshughulikia maandamano ya mwaka wa 1956 huko Georgia
alimshtua zaidi. Alipunguzwa cheo mwaka wa 1961 na Kamati ya Siasa ya Chama cha Kikomunisti cha Georgia baada ya kumkasirisha ofisa wa cheo cha juu.