Kesäkuussa 1941 käynnistettiin operaatio Barbarossa, jossa Kleist johti 1. panssariryhmää osana armeijaryhmä Etelä - jonka tehtävänä oli vallata Moldavia ja Ukraina - ja menestyi hyökkäyksen alkuvaiheessa, eteneessään syvälle Ukrainaan. Ensimmäinen panssariryhmä murtautui Stalinin linjan läpi ja voitti Neuvostoliiton viidennen armeijan ja kuudennen armeijan viisi mekaanista joukkuetta Brodyn taistelussa.
(23.-30. kesäkuuta 1941). Heinäkuussa 1941 Umanin taistelun aikana 1. panssariryhmä murtautui Neuvostoliiton eteläisen rintaman linjojen läpi, mikä johti Neuvostoliiton 6. ja 12. armeijoiden piirittämiseen ja tuhoamiseen Umanin kaupungin kaakkoon (nykyisessä Cherkasy Oblastissa). Ensimmäisen Kiovan taistelun aikana elokuun ja syyskuun 1941 välisenä aikana 1. panssariryhmä käänsi pohjoiseen Keski-Ukrainasta ja 2. panssariryhmä etelään Smolenskista johti koko Neuvostoliiton lounaisrintaman piirittämiseen ja tuhoon Kiovan itäpuolella, aiheuttaen Punaiselle armeijalle yli 600 000 tappiota. Kampanja oli kuitenkin ollut kallista, sillä Saksan joukkojen tankit olivat siihen mennessä vain puolet siitä, mitä heillä oli ollut kolme kuukautta aiemmin.