Semjon Timoshenko, sem hafði verið nefndur þjóðarfulltrúi varnar Sovétríkjanna eftir ósigur Vetrarstríðsins og þurfti bráðlega á reynslumiklum yfirmönnum að halda fyrir hratt stækkandi Sovétríkin, skilaði Rokossovsky til stjórn 5. hestamannaherdeildar í röð fulltrúa. Í kjölfarið tók 5. hestamannaherinn þátt í landnáminu í Bessarabia.
Hann var fljótt færður í röð herforingja og fékk stjórn á 9. vélbúnum herdeild, sem hluti af 5. herdeild M.I. Potapov undir Mikhail Kirponos sem var yfirmaður Kiev herdeildarinnar, sem síðar var endurnefnd Suðvestur-Front þegar átök við Þýskaland hófust.