Khalid posteriorment es va moure contra les tribus àrabs majoritàriament cristianes i les guarnicions perses sasànides de la vall de l'Eufrates a l'Iraq. Va ser reassignat per Abu Bakr per comandar els exèrcits musulmans a Síria i va dirigir els seus homes en una marxa no convencional a través d'una llarga franja sense aigua del desert sirià, augmentant la seva reputació com a estratega militar. Com a resultat de les victòries decisives contra els bizantins a Ajnadayn (634), Fahl (634), Damasc
(634<unk>635) i Yarmouk (636), els musulmans sota Khalid van conquerir gran part de Síria. Després va ser degradat del comandament per Umar per una sèrie de causes citades per fonts islàmics tradicionals i modernes. Khalid va continuar servint com el tinent clau del seu successor Abu Ubayda ibn al-Jarrah en els setges de Homs i Alep i la Batalla de Qinnasrin, tot el 637-638, que col·lectivament precipità la retirada de Síria de les tropes bizantines imperials sota l'emperador Heracli. Umar va destituir Khalid del seu govern de Qinnasrin després i va morir a Medina o Homs el 642.