En 2014, al-Hashimi deixou oficialmente a al-Qaeda, reafirmando a súa lealdade ao ISIL (que anteriormente operara como a rama iraquí de al-Qaeda). Xogou un papel clave na captura de Mosul por ISIL.
en xuño de 2014. Foi un dos principais líderes do EIIL que orquestrou as matanzas en masa xenocidas de yazidíes durante a masacre de Sinjar en agosto dese ano. A esta altura, era o adxunto de Abu Bakr al-Baghdadi.