Despois da morte de Harun en Khurasan a principios de 809, Abdallah permaneceu na provincia, uníndose á corte do segundo herdeiro de Harun, al-Ma'mun (r. 813833), en Marw. Na guerra civil posterior
entre al-Ma'mun e o seu medio irmán, o califa al-Amin (r. 809-813), permaneceu en gran parte ao marxe de Marw. Foi un dos varios líderes militares que se negaron a encabezar o goberno de al-Ma'mun, un posto que finalmente caeu en mans de Fadl ibn Sahl. As súas relacións con al-Ma'mun foron tensas, pero acompañouno cara ao oeste e estivo con el cando entrou en Bagdad en 819.