A segunda fase comezou coa chegada de Khalid ibn al-Walid e as súas tropas a Siria en 634. Baixo o mando supremo de Khalid, os exércitos musulmáns sitiaron e capturaron os centros urbanos do sur de Siria de Bosra, Damasco
, Beisan (Scythopolis), Pella, Gaza, e temporalmente, Homs (Emesa) e Baalbek (Hierapolis). Heraclio respondeu desplegando sucesivos exércitos imperiais contra os musulmáns. Os bizantinos foron decisivamente derrotados nas resultantes grandes batallas de Ajnadayn en Palestina e Fahl e Yarmouk en Transxordania, todas ocorrendo en 634-636. As vitorias musulmás no campo de batalla acabaron coa resistencia organizada dos bizantinos.