De dood van Yazid en zijn zoon en opvolger Mu'awiya II in relatief snelle opeenvolging in 683 <unk> 684 veroorzaakte een leiderschapsvacuüm in Damascus en de daaruit voortvloeiende ineenstorting van het Omeyyadische gezag in het kalifaat. De meeste provincies verklaarden hun trouw aan de rivaliserende in Mekka gevestigde kalief Abd Allah ibn al-Zubayr. In sommige delen van Syrië streefden oudere Arabische stammen die een bevoorrechte positie hadden verworven in het hof en het leger van de Omeyyaden, met name de Banu Kalb, ernaar om de heerschappij van de Omeyyaden te behouden. Marwan en zijn familie, waaronder Abd al-Malik, waren inmiddels naar Syrië verhuisd, waar Marwan de pro-Omeyyaat trouwe Ubayd Allah ibn Ziyad ontmoette, die net van zijn gouverneurschap in Irak was verdreven. Ibn Ziyad overtuigde Marwan om zijn kandidatuur voor het kalifaat door te sturen tijdens een top van pro-Omeyyaat stammen in Jabiya, georganiseerd door de Kalbi opperhoofd Ibn Bahdal. De adel van de stam verkoos Marwan als kalief en de laatste werd afhankelijk van de Kalb en zijn bondgenoten, die collectief bekend werden als de "Yaman" in verwijzing naar hun ogenschijnlijk gedeelde Zuid-Arabische (Yamani) wortels. Hun macht kwam ten koste van de Qaysi-stammen, relatieve nieuwkomers die onder Mu'awiya I het noorden van Syrië en de Jazira hadden overheerst en naar Ibn al-Zubayr waren overgelopen. De Qays werden verslagen door Marwan en zijn Yamani-ondersteuners in de Slag bij Marj Rahit.
in 684, wat leidde tot een langdurige bloedvecht en rivaliteit tussen de twee stammen. Abd al-Malik nam niet deel aan de strijd op religieuze gronden, volgens de hedendaagse gedichten samengesteld in de bloemlezing van Abu Tammam (d. 845).