Vuonna 2014 al-Hashimi jätti al-Qaidan virallisesti ja vahvisti uskollisuutensa ISIL:lle (joka oli aiemmin toiminut al-Qaidan irakilaisena haaraksi). Hän oli avainasemassa Mosulin valloituksessa.
kesäkuussa 2014. Hän oli yksi tärkeimmistä ISIL:n johtajista, joka järjesti jesidien kansanmurhan Sinjarin verilöylyn aikana saman vuoden elokuussa. Hän oli noussut Abu Bakr al-Baghdadin apulaiseksi.