Toinen vaihe alkoi, kun Khalid ibn al-Walid ja hänen joukkonsa saapuivat Syyriaan vuonna 634. Khalidin johdolla muslimiarmeijat piirittivät ja valloittivat eteläisen Syyrian kaupunkikeskukset Bosran,
Damaskus, Beisan (Scythopolis), Pella, Gaza ja väliaikaisesti Homs (Emesa) ja Baalbek (Hierapolis). Heraclius vastasi lähettämällä peräkkäiset keisarilliset armeijat muslimeja vastaan. Bysanttilaiset hävisivät ratkaisevasti Ajnadaynin taistelussa Palestiinassa ja Fahlin ja Yarmoukin taistelussa Transjordaniassa, jotka kaikki tapahtui 634-636. Muslimien voitot taistelukentällä lopettivat tehokkaasti bysanttilaisten järjestäytyneen vastarinnan.