Després de la mort de Harun a Khurasan a principis de 809, Abdallah va romandre a la província, unint-se a la cort del segon hereu de Harun, al-Ma'mun (r. 813-833), a Marw. En la guerra civil posterior
entre al-Ma'mun i el seu germanastre, el califa al-Amin (r. 809<unk>813), va romandre en gran part al marge de Marw. Va ser un dels diversos líders militars que es van negar a dirigir el govern d'al-Ma'mun, un càrrec que finalment va caure en Fadl ibn Sahl. Les seves relacions amb al-Ma'mun van ser tenses, però el va acompanyar cap a l'oest i estava amb ell quan va entrar a Bagdad el 819.