Asad oli Qasr-klaanin jäsen, joka on Bajila-heimon alaheimo. Hänen isoisoisänsä, Asad ibn Kurz al-Qasri, on joidenkin perinteiden mukaan ollut Bajila'n päällikkö islamin profeetta Muhammedin aikana, ja häntä lasketaan yhdeksi Muhammedin toverista. Muut perinnöt, jotka ovat vihamielisiä perheelle, kertovat, että Asad oli juutalainen ja karannut orja. Asadin isoisä Yazid oli ensimmäinen ja merkittävin Umayyadit-tuenantaja ensimmäisessä Fitnassa.
, kun taas Asadin isä Abdallah seisoi Ibn al-Zubayr'in puolella toisessa Fitnassa, mutta kalifi Abd al-Malik antoi lopulta anteeksi.