După moartea lui Harun în Khurasan la începutul anului 809, Abdallah a rămas în provincie, alăturându-se curții celui de-al doilea moștenitor al lui Harun, al-Ma'mun (r. 813-833), la Marw. În următorul război civil
între al-Ma'mun și fratele său vitreg, Califul al-Amin (r. 809-813), a rămas în mare parte pe margine la Marw. El a fost unul dintre mai mulți lideri militari care au refuzat să conducă guvernul lui al-Ma'mun, un post care a căzut în cele din urmă la Fadl ibn Sahl. Relațiile sale cu al-Ma'mun au fost tensionate, dar l-a însoțit spre vest și a fost cu el când a intrat în Bagdad în 819.