A doua fază a început cu sosirea lui Khalid ibn al-Walid și a trupelor sale în Siria în 634. Sub comanda supremă a lui Khalid, armatele musulmane au asediat și au capturat centrele urbane din sudul Siriei, Bosra, Damasc
, Beisan (Scythopolis), Pella, Gaza și temporar, Homs (Emesa) și Baalbek (Hierapolis). Heraclius a răspuns prin desfăşurarea unor armate imperiale succesive împotriva musulmanilor. Bizantinii au fost înfrânți în mod decisiv în bătăliile majore de la Ajnadayn în Palestina și Fahl și Yarmouk în Transjordania, toate având loc în 634-636. Victoria musulmanilor pe câmpul de luptă a pus capăt rezistenței organizate a bizantinilor.