Á síðari hluta áttunda áratugarins, þegar Sovétríkin lentu í hrun, varð Shevardnadze sífellt óvinsæll og var í átökum við sovétríska harðlínu sem var ósáttur við umbætur hans og mjúka línu hans við vesturlönd. Hann gagnrýndi herferđ sovéskra hersveita til ađ bæla uppreisn.
í heimabyggð sinni í Georgíu 1989. Í mótmæli gegn vaxandi áhrifum harðlínumanna undir stjórn Gorbatjovs sagði Shevardnadze skyndilega af sér í desember 1990 og sagði: "Diktatúrur er að koma". Nokkrum mánuðum seinna urðu ógnir hans að hluta til að veruleika, þegar ósigraður valdarán kommúnista, harðlínumenn, varð til þess að Sovétríkin hrundu. Shevardnadze kom aftur í stutta stund sem utanríkisráðherra Sovétríkjanna í nóvember 1991 en lét af störfum með Gorbatjov mánuðinn eftir, þegar Sovétríkin voru formlega leyst upp.