Í 2014 yfirgaf al-Hashimi al-Qaeda opinberlega og staðfesti aftur hollustu sína við ISIL (sem áður hafði starfað sem írakskur útibú al-Qaeda). Hann lék lykilhlutverk í tökum ISIL á Mosul.
í júní 2014. Hann var einn af helstu leiðtogum ISIL sem skipulagði þjóðarmorð á Yazidis í Sinjar fjöldamorðinu í ágúst sama ár. Á ūessum tímapunkti var hann orđinn aðstođarmađur Abu Bakr al-Baghdadi.