موت يزيد وابنه وخليفته معاوية الثاني في تتابع سريع نسبيا في 683 684 تسببت في فراغ القيادة في دمشق والانهيار الناتج لسلطة الأمويين في جميع أنحاء الخلافة. معظم المقاطعات اعلنت ولائها للخليفة المنافس عبد الله بن الزبير. في أجزاء من سوريا، تسارعت القبائل العربية القديمة التي حصلت على مكانة متميزة في البلاط والأمويين العسكريين، ولا سيما بنو كلب، للحفاظ على حكم الأمويين. مروان وعائلته، بمن فيهم عبد المالك، انتقلوا الى سوريا، حيث التقى مروان بالمؤيد الأميادي عبيد الله بن زياد، الذي طرد للتو من حاكمته في العراق. اقنع ابن زياد مروان بتقديم ترشيحه للخلافة خلال قمة القبائل الموالية للأمويين في الجابية التي استضافها القائد الكلبي ابن بهدل. انتخبت النبلاء القبلية مروان خليفة وأصبح الأخير معتمداً على الكلب وحلفائه، والذين أصبحوا معروفين بشكل جماعي باسم "اليمن" في إشارة إلى جذورهم المشتركة ظاهرياً في جنوب العربية (اليمنية). قدرتهم جاءت على حساب قبائل القيسى، الوافدين الجدد نسبياً الذين أتوا ليحكموا شمال سوريا والجزيرة في عهد معاوية الأول وهربوا إلى ابن الزبير. القايز هزموا من قبل مروان ومؤيديه اليمنيين في معركة مرج رحيت
في 684، مما أدى إلى نزاع دموي طويل الأمد وتنافس بين التحالفين القبليين. عبد المالك ما شارك في المعركة على أسس دينية، وفقا للقصائد المعاصرة التي تم تجميعها في مجموعة قصائد أبو تمم (ت. 845).