Skrifaðu framhald þessarar málsgreinar - Í þessu hlutverki, í júlí-ágúst 803, leiddi Qasim árás í Byzantine Asia Minor. Hann umkringdi strategíska festinguna í Koron, á meðan liðsforingi hans al-'Abbas ibn Ja'far ibn Muhammad ibn al-Ash'ath var sendur til að umkringja aðra festingu, sem arabar þekktu sem Sinan. Byzantínumenn buðu honum þó að sleppa 320 múslimum fangum ef hann færi, og hann samþykkti það. Í febrúar 808, þegar Harun yfirgaf heimili sitt Raqqa fyrir aðra leiðangursferð sína til Khurasan, skildi hann eftir Qasim sem aðstoðarmann sinn í Raqqa, með Khuzayma ibn Khazim sem ráðgjafa sinn. Eftir dauða Haruns og að al-Amin tók við konungdæminu árið 809 var Qasim staðfestur í stöðu sinni sem landstjóri "al-'Awasim" og "jund Qinnasrin", en var greinilega fjarlægður frá landstjórasæti sínu í Jazira (Yðri Mesópótamía), þar sem Khuzayma ibn Khazim var ráðinn í staðinn. Að lokum, árið 810, var Qasim fjarlægður af Amin frá öllum stjórnarstöðum sínum í þágu Khuzayma og færður til að búa undir nánum eftirliti í Bagdad. Amin bannaði fljótlega að minnast hans í bænum, ásamt Abdallah al-Ma'mun, sem hafði ríst í nærri uppreisn í Khurasan. Í borgarastríðinu.
Ma'mun sigrađi og drap bróđur sinn Amin árið 813. Strax á eftir var Qasim formlega settur úr stöðu sem eftirmaður.