Kirjoita jatkossa tähän kappaleeseen - Saksan aloittaman Neuvostoliittoon hyökkäyksen jälkeen 22. kesäkuuta 1941 Yermolkin taisteli yksikkönsä kanssa lounaisrintamalla. Osana 26. armeijaa divisioona ja sen korpukset aloittivat sodan Drogobychin alueella. Rajan taisteluissa 25. kesäkuuta 1941 divisioona hyökkäsi vastahyökkäykseen.
Brodyn ja Dubnon alueella, ja sitten ankarassa taistelussa perääntyi Proskuroviin ja Vinnytsiaan. Silloin majuri Yermolkin haavoittui sirpaleella Radzivilovin alueella 28. kesäkuuta. Elokuussa Kiovan taistelun aikana hänet nimitettiin 7. moottoridivisioonan 300: n moottoripyssyjoukon komentajaksi, joka johti sitä kiivaissa taisteluissa etelään Kiovasta osana 26. armeijaa. Yermolkin jäi kiinni piirityksessä syyskuussa, mutta onnistui palaamaan Neuvostoliiton linjoihin lokakuussa, minkä jälkeen hän sai komennon 680: stä kiväärirykmentistä 169. kiväärirykmentistä, joka osallistui raskaisiin taisteluihin osana 38. armeijaa Lounaisrintamalla Volchansk-alueella. Joulukuusta hän komensi armeijan 199: n kivääridivisioonan 584. kiväärirykmenttiä. Heinäkuussa 1942 Yermolkinista tuli armeijan 304. kivääridivisioonan varapuheenjohtaja Donbassin puolustusoperaation aikana.