Khalid a pornit ulterior împotriva triburilor arabe în mare parte creștine și a garnizoanelor persane sasaniene din valea Eufratului din Irak. A fost repartizat de Abu Bakr pentru a comanda armatele musulmane din Siria și și-a condus oamenii într-un marș neconvențional printr-o lungă întindere a deșertului sirian, sporind reputația sa ca strateg militar. Ca urmare a victoriilor decisive împotriva bizantinilor la Ajnadayn (634), Fahl (634), Damasc
(634-635) și Yarmouk (636), musulmanii condusi de Khalid au cucerit o mare parte din Siria. Ulterior, a fost retrogradat de la înaltul comandament de către Umar pentru o serie de cauze citate de sursele islamice tradiționale și moderne. Khalid a continuat serviciul ca locotenent-cheie al succesorului său Abu Ubayda ibn al-Jarrah în asediul Homsului și Alepului și în bătălia de la Qinnasrin, toate în 637-638, care au precipitat colectiv retragerea din Siria a trupelor imperiale bizantine sub conducerea împăratului Heraclius. Umar l-a demis pe Khalid din funcția de guvernator al Qinnasrinului după aceea și a murit în Medina sau Homs în 642.