Despois da morte de Harun en 809, al-Abbas foi inicialmente empregado polo seu sucesor al-Amin para actuar como emisario de al-Ma'mun en Khurasan, pero no medio do conflito crecente
Entre os dous irmáns, pronto foi persuadido a cambiar de bando e ofrecer a súa lealdade a al-Ma'mun. En marzo de 812 participou no golpe fallido de al-Husayn ibn Ali ibn Isa, no que foi responsable de aprehender persoalmente tanto a al-Amin como a súa nai Zubaydah bint Ja'far, e posteriormente foi seleccionado para liderar as primeiras peregrinacións realizadas en nome de al-Ma'mun, en 812, 813 e 814.