Smrt Jezída a jeho syna a nástupce Mu'awije II. v poměrně rychlé návaznosti v letech 683 <unk> 684 vyvolala vakuum vedení v Damašku a následný kolaps moci Umayyadů v celém chalífátu. Většina provincií vyhlásila věrnost soupeři kalifu Abd Allahovi ibn al-Zubayrovi, který sídlil v Mekce. V některých částech Sýrie se starší arabské kmeny, které si zajistily privilegované postavení na dvoře a v armádě Umayyadů, zejména Banu Kalb, snažily zachovat vládu Umayyadů. Marwan a jeho rodina, včetně Abd al-Malika, se od té doby přestěhovali do Sýrie, kde se Marwan setkal s pro-Omejádským stoupencem Ubayd Allahem ibn Ziyadem, který byl právě vyhoštěn ze svého guvernéra v Iráku. Ibn Ziyad přesvědčil Marwana, aby předal svou kandidaturu na chalífát během summitu pro-umayyádských kmenů v Džabiji, který uspořádal kalbíský náčelník Ibn Bahdal. Kmenová šlechta zvolila Marwana jako chalífu a tento se stal závislým na Kalb a jeho spojencích, kteří se společně stali známí jako "Yaman" s odkazem na jejich zdánlivě sdílené jihovýchodní arabské (Yamani) kořeny. Jejich moc přišla na úkor kmenů Qaysi, relativně nově příchozích, kteří přišli ovládnout severní Sýrii a Džazíru pod Mu'awiya I. a přešli k Ibn al-Zubayrovi. Qays byli poraženi Marwanem a jeho Yamani podporovateli v bitvě u Marj Rahit.
V roce 684, což vedlo k dlouhodobé krevní hádce a soupeření mezi dvěma kmenovými koalicemi. Abd al-Malik se nezúčastnil bitvy z náboženských důvodů, podle současných básní shromážděných v antologii Abu Tammam (d. 845).