Escriba unha continuación para este parágrafo - Nesta capacidade, en xullo-agosto de 803, Qasim liderou unha incursión en Asia Menor bizantina. Asediou a fortaleza estratéxica de Koron, mentres que o seu tenente al-'Abbas ibn Ja'far ibn Muhammad ibn al-Ash'ath foi enviado a asediar outra fortaleza, coñecida polos árabes como Sinan. Os bizantinos, con todo, ofrecéronse a liberar a 320 prisioneiros musulmáns se se marchara, e el aceptou. En febreiro de 808, cando Harun partiu da súa residencia de Raqqa para a súa segunda expedición a Khurasan, deixou a Qasim atrás como o seu adxunto en Raqqa, con Khuzayma ibn Khazim como o seu conselleiro. Despois da morte de Harun e a ascensión de al-Amin en 809, Qasim foi confirmado na súa posición como gobernador de "al-'Awasim" e de "jund Qinnasrin", pero aparentemente foi removido da súa gobernación de Jazira (Alta Mesopotamia), onde Khuzayma ibn Khazim foi nomeado no seu lugar. Finalmente, en 810, Qasim foi removido por Amin de todos os seus gobernadores en favor de Khuzayma, e levado a vivir baixo estreita supervisión en Bagdad. Amín pouco despois prohibiu a súa mención nas oracións, xunto con Abdallah al-Ma'mun, que se levantou en rebelión en Khurasan. Na guerra civil
Despois diso, Ma'mun foi triunfante, derrotando e matando ao seu irmán Amin en 813. Inmediatamente despois, Qasim foi formalmente deposto do seu posto como sucesor.