Kun persialaiset murhasivat Umar'in vuonna 644, Usmanin valinta seuraajaksi kohtasi kasvavaa vastustusta. Vuonna 656 myös Uthman surmattiin, ja Ali nousi kalifiksi. Tämä johti ensimmäiseen sisällissotaan.
(Ensimmäinen Fitna) siitä, kuka tulisi kalifiksi. Kharijitit ovat olleet yksi sodan tärkeimmistä kilpailijoista. He pitävät kalifien syntejä islamin ulkopuolella ja kehottivat tappamaan heidät luopioina. Toisin kuin myöhemmissä sunneissa ja shiioissa, kalifi vaatii vain hurskautta eikä hänen tarvitse olla Muhammedin jälkeläinen, hänen perheensä tai hänen heimonsa. Kharijitit murhasivat Aliin vuonna 661. Jotta uusi kalifi Hasan ibn Ali välttäisi uusia taisteluja, hän allekirjoitti rauhansopimuksen, jossa hän luopui valtaistuimestaan Mu'awiyahille, aloittaen Umayyad-dynastian, vastineeksi siitä, että hän ei nimeä omaa seuraajaansa. Nämä riidat uskonnollisesta ja poliittisesta johtajuudesta aiheuttaisivat muslimiyhteisössä riidan. Suurin osa hyväksyi neljän ensimmäisen johtajan laillisuuden ja tuli tunnetuksi sunninaisiksi. Vähemmistö oli eri mieltä ja uskoi, että vain Alin ja joidenkin hänen jälkeläistensä pitäisi hallita; heistä tuli tunnettuja shiia-uskonnoksi. Kharijitit eivät nimittäneet kalifiaansa, koska pyrkijöitä syytettiin helposti synnistä ja pidettiin luopioina. Mu'awiyah nimitti poikansa Yazid I:n seuraajaksi ja Mu'awiyan kuoleman jälkeen vuonna 680 "toinen sisällissota" puhkesi, jossa Husayn ibn Ali kuoli Karbala-taistelussa, joka oli merkittävä tapahtuma shiia-islamissa. Sunni-islam ja shiia-islam eroavat toisistaan joissakin suhteissa.