Setelah pembunuhan khalifah ketiga Uthman pada tahun 656 oleh pemberontak provinsi, kekhalifahan jatuh ke dalam perang saudara
sebagai Mu'awiya ibn Abi Sufyan, seorang kerabat Uthman dan gubernur Suriah, menantang legitimasi khalifah baru Ali. Pertarungan yang tidak menentukan antara keduanya di Siffin berakhir dengan perjanjian arbitrase pada Juli 657. Menegaskan bahwa arbitrase manusia tidak valid karena perintah Tuhan jelas bahwa para pemberontak (dalam hal ini Mu'awiya) harus diperangi dan dikalahkan, beberapa tentara Ali meninggalkan tentara. Mereka disebut Kharijites setelah pemisahan ini. Mereka kemudian bertempur melawan Ali dalam Pertempuran Nahrawan pada Juli 658 dan dihancurkan oleh Khalifah. Setelah pembunuhan Ali pada tahun 661 oleh seorang Kharijite, Mu'awiya menjadi penguasa tunggal, mendirikan Kekhalifahan Umayyah. Selama pemerintahannya, Kharji berkembang di kota Basra di Irak selatan. Karena ditekan keras oleh gubernur Irak Ziyad ibn Abih dan kemudian Ubayd Allah ibn Ziyad, orang-orang Kharij melarikan diri ke Arab sekitar tahun 680.