A második fázis azzal kezdődött, hogy 634-ben Khalid ibn al-Walid és csapatai megérkeztek Szíriába. Khalid legfelsőbb parancsnoksága alatt a muszlim seregek ostromolták és elfoglalták Bosra déli szíriai városi központjait,
Damaszkusz, Beisan (Scythopolis), Pella, Gaza, és ideiglenesen Homs (Emesa) és Baalbek (Hierapolis). Heraclius úgy válaszolt, hogy a muzulmánok ellen egymás után királyi seregeket küldött. A bizánciak döntő vereséget szenvedtek a Palesztinában, Ajnadaynban és Fahlban és Yarmoukban, mind 634-636-ban. A muzulmán csatatéren elért győzelmek hatékonyan véget vetettek a bizánciak szervezett ellenállásának.