Després de la mort de Harun el 809, al-Abbas va ser inicialment contractat pel seu successor al-Amin per actuar com a emissari d'al-Ma'mun a Khurasan, però enmig del creixent conflicte
entre els dos germans aviat va ser persuadit per canviar de costat i oferir la seva lleialtat a al-Ma'mun en el seu lloc. El març de 812 va participar en el fracassat cop d'estat d'al-Husayn ibn Ali ibn Isa, en el qual va ser responsable de detenir personalment tant al-Amin com la seva mare Zubaydah bint Ja'far, i posteriorment va ser seleccionat per dirigir les primeres peregrinacions realitzades en nom d'al-Ma'mun, el 812, 813 i 814.