Kimin halife olacağı konusundan hareketle çıkan ihtilafların bir sonucu olarak ortaya çıkan fitne giderek büyümüş ve neticede Hz. Osman (ra) şehid edilmiştir.
Daha sonra Hz. Ali (ra) döneminde fitne kapıları sonuna kadar açılmış, siyasi sahada köklü ihtilaflar ortaya çıkmış ve bu sahada çeşitli mezhepler türemiştir. Her ne kadar Şii'ler Şii'liğin kökeninin Resulullah (sallalahu aleyhi ve sellem)'ın vefatına dayandığını söylerlerse de "Şii" mezhebi de bu dönemde ortaya çıkmıştır.
Hz. Ali (ra) döneminde devam eden bu fitnenin sonucu olarak "Harici" mezhebi ortaya çıkmıştır. Hariciler, Hz. Ali (ra) ile Muaviye arasındaki Sıffin Savaşından sonra Hz. Ali'nin (ra) meseleyi hakem vasıtasıyla halletme fikrini kabul etmesi üzerine Hz. Ali'nin (ra9 ordusundan ayrılanlardır. Önce Hz. Ali'yi (ra) hakem işini kabul etmeye zorlamış olmalarına rağmen, Hz. Ali (ra) hakem işini kabul edip uygulayınca ve işin içine hile karıştığı anlaşılınca Hz. Ali (ra) ile savaşa girişmişler ve hatta Hz. Ali'nin (ra) hakem olayını kabul ederek küfre girdiğini iddia etmişlerdir.
Hakem olayını kabul eden herkesi küfre girmekle itham etmişlerdir. Hz. Ali'ye (ra) karşı ayaklanmışlar ve onunla savaşmışlardır. Hz. Ali zamanında ve daha sonraki devirlerde müslümanların çoğunu kafir saymışlardır. Emeviler devrinde çok güçlenmişler ve birçok Emevi valisini öldürmüşlerdir.
Hariciler'e göre; hiç bir aile veya kabile hilafet konusunda diğerinden üstün değildir. Halifeyi müslümanlar tam bir hürriyet içerisinde seçerler. Halife adaletten ayrılırsa onu azletmek ve öldürmek vacip olur. Büyük günah işleyenler kafir olur. Kendilerine muhalefet edenler kafir ilan edilmiştir.
Hariciler'de birçok fırkaya ayrılmıştır. En aşırı Harici fırkası olan Ezrakiler'e göre çocuk, kadın ve ihtiyar kimseler olsa bile kendilerine muhalefet edenlerin öldürülmesi caizdir.
Hz. Ali, Haricilere karşı buyurmuşlar ki:
" Kabul edelim ki, benim yanıldığımı, doğru yoldan saptığımı sandınız; benim bu hareketim yüzünden neden bütün Muhammed (sallalahu aleyhi ve sellem) ümmetini sapık sayıyorsunuz? Neden benim yanılmam yüzünden onları da yanılmış biliyor, benim suçum yüzünden onları da kafir sayıyorsunuz?
Kılıçlarınız omuzlarınızda; onları sallıyorsunuz, suçluları suçsuzlara katıyorsunuz. Oysa siz de bilirsiniz ki Allah'ın salatı O'na ve soyuna olsun, Resulullah evli olarak zina edeni recmetmiş, sonra ona namaz kılmıştır, mirasını da, miras düşenelerine vermiştir. Adam öldüreni öldürtmüş, mirasını ehline payetmiştir. Hırsızlık edenin elini kestirmiş, evli olmadığı halde zina edeni dövdürmüş, fakat sonra Müslümanların haklarından onlara düşen hakkı da kendilerine teslim eylemiştir; onlarda Müslüman kadınları nikahlamışlar, onlarla evlenmişlerdir.
Demek ki, Allah'ın salatı O'na ve soyuna olsun, Resulullah onlara, suçlarının cezalarını vermiş, Allah'ın hükmünü tatbik etmiş, fakat Müslümanlıktaki haklarını onlardan men etmemiş, adlarını Müslümanlıktan çıkarmamıştır. Siz ise insanların en kötülerisiniz; Şeytan'ın azgınlığa, isyana sevkettiği, şaşkın bir halde sapıklığa sürdüğü kişilersiniz.
Yakındır, benim yüzümden iki bölük helak olur gider: Bir bölüğü beni fazlasıyla sevendir; sevgi, gerçek olmayan inanca yürütür onu, öbürü, bana buğuzedendir; buğuz gerçek olmayan yola salar onu. İnsanların hayırlıları, hakkımda ne ileri gidenleridir, ne geri kalanları. Onlar, orta yolu seçerler. Bu yolu seçin; Müslümanların çoğunluğunun inancına sahip olun; çünkü Allah'ın (Kudret) eli, topluluktadır. Sakının ayrılıktan; insanlardan ayrılan, Şeytana kul olur; sürüden ayrılan koyunun kurda lokma olması gibi.
Bilin, duyun; onların bu inancını güden kişiyi, imamemin altında bile olsa öldürün.
Tayin edilen iki hakem, Kuran'ın dirilttiğini diriltmek, Kuran'ın öldürdüğünü öldürmek için tayin edilmişti; onların biraraya gelmeleri ayrılığı yok etmek içindi. Kur'an, bizi onlara uymaya çekerse uyacaktık onlara, Kur'an bize uymayı emrederse, onlara değil, bize uyacaktınız. Sizi kötü bir işe salmadım; işlerinize ait bir hususta aldatmadım, şüphelere düşürmedim. Seçtiğiniz iki kişiyi, Kur'an'ın hükmünden çıkmamalarını şart koşarak tayin etmiştik, göndermiştik. Onlarsa gerçeği, göz göre göre terk ettiler; cevr olduğunu bile bile kendi kendilerine uydular; cefa yoluna gittiler. Oysaki hükümde adaleti, gerçeğe uymalarını, kendi kötü reylerine uymamalarını şart koşmuştuk önceden."
Hz. Osman'ın hilafeti zamanında başlayıp Hz. Ali'nin hilafeti zamanında zirve noktasına çıkan bu ihtilaflar sonucunda bu dönem birbirine zıt "Şii" ve "Harici" olarak adlandırılan iki mezhebin ortaya çıkışıyla sona ermişse de bu iki mezhebin arasında orta yolu tutan ve itidalli davranan tarihin "Ehl-i sünnet ve'l Cemaat" olarak adlandırdığı bir mezhep de ortaya çıkmıştır.
Bugün İslam alemi "Ehl-i sünnet ve'l Cemaat", "Şii" ve "Hariciler" olarak üç büyük gruba ayrılmıştır. Bunlardan Şii ve Hariciler arasında da birçok grub mevcuttur.