Las muertes de Yazid y su hijo y sucesor Mu'awiya II en una sucesión relativamente rápida en 683 684 precipitaron un vacío de liderazgo en Damasco y el consiguiente colapso de la autoridad omeya en todo el Califato. La mayoría de las provincias declararon su lealtad al califa rival con sede en La Meca, Abd Allah ibn al-Zubayr. En algunas partes de Siria, las tribus árabes más antiguas que se habían asegurado una posición privilegiada en la corte y el ejército omeyas, en particular los Banu Kalb, lucharon por preservar el gobierno omeya. Marwan y su familia, incluido Abd al-Malik, se habían trasladado desde entonces a Siria, donde Marwan conoció al incondicional pro-Omayyad Ubayd Allah ibn Ziyad, quien acababa de ser expulsado de su gobernación en Irak. Ibn Ziyad persuadió a Marwan para que presentara su candidatura para el califato durante una cumbre de tribus pro-Umayyad en Jabiya organizada por el jefe Kalbi Ibn Bahdal. La nobleza tribal eligió a Marwan como califa y este último se volvió dependiente de los Kalb y sus aliados, que colectivamente se conocieron como los "Yaman" en referencia a sus raíces aparentemente compartidas del sur de Arabia (Yamani). Su poder llegó a expensas de las tribus Qaysi, relativamente recién llegados que habían llegado a dominar el norte de Siria y la Jazira bajo Mu'awiya I y habían desertado a Ibn al-Zubayr. Los Qays fueron derrotados por Marwan y sus partidarios Yamani en la Batalla de Marj Rahit
en 684, lo que lleva a una larga disputa de sangre y rivalidad entre las dos coaliciones tribales. Abd al-Malik no participó en la batalla por motivos religiosos, según los poemas contemporáneos compilados en la antología de Abu Tammam (m. 845). El Consejo