W latach 1928-1938 porucznik Gvishiani był przydzielony do różnych dywizji i wydziałów głównie gruzińskich oddziałów sowieckiej tajnej policji NKWD. W 1936 r. awansował do stopnia majora, a dwa lata i dwa awanse później, w 1938 r., został rozmieszczony jako szef 3. Dywizji Specjalnej Pierwszej Dyrekcji Głównej w Obwodzie Nowosybirskim, gdzie pełnił funkcję "Komisarza Bezpieczeństwa Państwowego 3 klasy". Podczas sowieckiej inwazji na Mandżurię
w 1945 roku Givishiani otrzymał kilka odznaczeń za repatriację wszystkich zasobów przemysłowych z Mandżurii do Związku Radzieckiego, za co został awansowany na generała porucznika w tym samym roku.