2014 m. al-Hashimi oficialiai paliko "al-Qaeda", dar kartą patvirtindamas savo ištikimybę ISIL (kuri anksčiau veikė kaip "al-Qaeda" Irako filialas). Jis vaidino svarbų vaidmenį ISIL užimant Mosulą.
2014 m. birželio mėn. Jis buvo vienas iš pagrindinių ISIL lyderių, kuris tais pačiais metais rugpjūčio mėn. vykusioje Sinžaro žudynių metu organizuoja genocidinius masinius jazidų žudynes. Tuo metu jis jau buvo Abu Bakr al-Baghdadi pavaduotojas.