Tässä ominaisuudessa Qasim johti heinä-elokuussa 803 hyökkäystä Bysantin Aasiassa. Hän piiritti strategisen Koronin linnoituksen, kun taas hänen luutnanttinsa al-'Abbas ibn Ja'far ibn Muhammad ibn al-Ash'ath lähetettiin piirittämään toisen linnoituksen, jonka arabit tunsivat nimellä Sinan. Bysantin hallitus tarjosi kuitenkin vapauttamaan 320 muslimin vankia, jos hän lähtisi, ja hän suostui. Helmikuussa 808, kun Harun lähti asuinpaikastaan Rakkaan toiseen retkeilyynsä Khuraasiin, hän jätti Qasimille sijaisensa Rakkaan, ja Khuzayma ibn Khazim oli hänen neuvonantajansa. Harunin kuoleman ja al-Aminin valtaistuimelle nousemisen jälkeen vuonna 809 Qasim vahvistettiin "al-'Awasimin" ja "jund Qinnasrinin" kuvernööriksi, mutta ilmeisesti hänet poistettiin Jaziran (Upper Mesopotamia) kuvernööriksi, jossa Khuzayma ibn Khazim nimitettiin sen sijaan. Lopulta vuonna 810 Amin erotti Qasimin kaikista hänen kuvernööreistään Khuzayman hyväksi ja vei hänet asumaan tiiviissä valvonnassa Bagdadissa. Pian sen jälkeen Amin kielsi hänen mainitsemisensa rukouksissa Abdallah al-Ma'munin kanssa, joka oli noussut lähes kapinaan Khurasanissa. Sisällissodassa.
Sen jälkeen Ma'mun voitti ja tappoi veljensä Aminin vuonna 813. Välittömästi sen jälkeen Qasim syrjäytettiin virallisesti seuraajan asemasta.