As mortes de Yazid e o seu fillo e sucesor Mu'awiya II en relativamente rápida sucesión en 683 684 precipitaron un baleiro de liderado en Damasco e o consecuente colapso da autoridade omeia en todo o Califato. A maioría das provincias declararon a súa lealdade ao califa rival Abd Allah ibn al-Zubayr, con sede en Meca. En partes de Siria, as tribos árabes máis antigas que aseguraran unha posición privilexiada na corte e no exército omeias, en particular os Banu Kalb, esforzáronse por preservar o goberno omeia. Marwan e a súa familia, incluído Abd al-Malik, trasladouse a Siria, onde Marwan coñeceu ao firme partidario dos omeias Ubayd Allah ibn Ziyad, que acababa de ser expulsado do seu posto de gobernador en Iraq. Ibn Ziyad convenceu a Marwan para que presentase a súa candidatura ao califato durante unha cúpula de tribos pró-Omeias en Jabiya organizada polo xefe Kalbi Ibn Bahdal. A nobreza tribal elixiu a Marwan como califa e este último fíxose dependente do Kalb e os seus aliados, que colectivamente foron coñecidos como os "Yaman" en referencia ás súas raíces aparentemente compartidas do sur de Arabia (Yamani). O seu poder chegou a expensas das tribos Qaysi, relativamente novos que chegaron a dominar o norte de Siria e a Jazira baixo Mu'awiya I e desertaron a Ibn al-Zubayr. Os Qays foron derrotados por Marwan e os seus apoiadores Yamani na Batalla de Marj Rahit
en 684, levando a unha longa disputa de sangue e rivalidade entre as dúas coalicións tribais. Abd al-Malik non participou na batalla por motivos relixiosos, segundo os poemas contemporáneos compilados na antoloxía de Abu Tammam (m. 845).