În 2014, al-Hashimi a părăsit oficial al-Qaeda, reafirmând loialitatea sa față de ISIL (care a funcționat anterior ca filiala irakiană a al-Qaeda). A jucat un rol cheie în capturarea Mosulului de către ISIL.
în iunie 2014. A fost unul dintre principalii lideri ai ISIS care au orchestrat uciderile în masă genocide ale yazidiților în timpul masacrului de la Sinjar din august al aceluiași an. În acest moment, el a ajuns adjunctul lui Abu Bakr al-Baghdadi.