Efter det otillfredsställande slutet av slaget vid Siffin, återvände Imam Ali(A) med sin armé till Kufa den 13:e Safar, år 37 e.H. Under avmarschen höll sig en grupp på 12,000 män på avstånd från större delen av armén.
Gruppen var rasande över hur saker och ting hade avslutats vid Siffin. Dessa var Kharjiterna (kharjit innebär en som gör uppror mot religionen). Dessa var samma personer som hade lagt ned sina vapen på slagfältet. Nu sade de att Imam Ali(A) hade förrått Islam genom att gå med på vapenvilan och ett domslut enbart i enlighet med den heliga Koranen borde ha utförts, eller att striderna i annat fall skulle ha fortsatt. De krävde att han skulle ångra sig för denna stora synd.
När armén närmade sig Kufa, slog Kharjiterna läger vid en by som heter Harura. De började tala om att alla muslimer är lika och att ingen således kunde styra över de andra. På detta sätt fördömde de både Imam Ali(A) och Mu’awiyah och sade att deras tro var ”La Hukma Illa Lillah”, det vill säga, ”inget styre utom enbart Allahs(SWT).”
Imam Ali(A) skickade Sasaa ibn Sauhan och Ziad ibn Nazr Harisi i sällskap med Ibn Abbas mot dem och därefter åkte han själv till platsen för vistelse och försökte förklara för dem att de hade missuppfattat orden ”La Hukma Illa Lillah”, och genom att acceptera skiljeförfarandet (fredssamtalet) vid Siffin hade han inte gått emot den heliga Koranens lära.
Han påpekade att det var de själva som hade gjort fel, eftersom de aldrig borde ha lagt ned sina vapen och tvingat honom att kalla tillbaka Malik Ashtar(RA), som höll på att säkra segern. Han påminde de om att det var de som hade tryckt på för skiljedomsförfarandet och således hade tvingat honom att utse Abu Musa Ash’ari som sin företrädare. Han förklarade för dem att han fann deras nuvarande beteende mycket underlig, med tanke på deras medverkan i Siffin. De medgav att de hade syndat då, men nu hade de ångrat sig för detta och således borde han göra detsamma.
Imam Ali(A) svarade att han var en sann troende och inte behövde ångra sig eftersom han inte hade begått någon synd och skingrade dem efter debatten.
Kharjiterna vägrade att acceptera Imam Alis(A) ord och väntade på Amr al-Aas och Abu Musa Ash’ari beslut. När de fick reda på resultatet beslutade de sig för att göra uppror, och de inrättade sitt säte i Nahrawan, tolv mil utanför Bagdad. Ett antal personer kom från Basra för att ansluta sig till rebellerna.
På andra sidan, och efter att ha hört skiljedomstolens dom, reste sig Imam Ali(A) för att bekämpa Syriens armé och skrev till Kharijiterna att domen som fallit av dem två skiljemännen, i enlighet med deras egna viljor i stället för Koranen och sunnah, inte var acceptabel och att han därför hade beslutat sig för att strida dem, och att de borde stödja honom för att krossa fienden. Men Kharijiterna gav honom följande svar: ”när du gick med på skiljedomen blev du till en kättare i våra ögon. Om du erkänner ditt kätteri och ångrar dig, skall vi tänka över denna fråga och besluta vad vi ska göra.” Imam Ali(A) förstod utifrån deras svar att deras olydnad och vilseledning hade blivit mycket allvarlig. Att kunna förvänta sig något från dem var nu helt meningslöst. Därför ignorerade han de och slog läger i an-Nukhaylah dalen, i syfte att marschera mot Syrien och bekämpa Mu’awiyah.
Imam Ali(A) hade redan påbörjat sin färd mot Mu’awiyah när han fick veta att de hade slaktat guvernören i Nahrawan, nämligen Abdullah Ibn Khabbab Ibn al-Aratt och hans gravida tjänsteflicka, och att de hade dödat tre män från Banu Tayyi och Umm Sinan as Saydawiyyah. Imam Ali(A) sände al-Harith ibn Murrah al-Abdi för att undersöka läget, men även han blev dödad av dem. När deras uppror hade nått ett sådant läge, var det nödvändigt att ta itu med dem. Det fanns en risk att Kharjiterna skulle attackera Kufa medan Imam Ali(A) och hans män marscherade mot Mu’awiyah, så Imam Ali(A) beslutade sig för att stoppa dem. Han bytte kurs österut, över floden Tigris och anlände vid Nahrawan.
När de väl hade nått fram, skickade Imam Ali(A) en budbärare till Kharjiterna, med kravet att de personer som hade mördat oskyldiga muslimer runt om deras läger skulle överlämnas. Kharjiterna svarade att de alla var lika ansvariga för att ha dödat dessa syndare.
Det fanns en viss återhållsamhet i Imam Alis(A) armé att bekämpa Kharjiterna, eftersom de hade varit deras kamrater mot Mu’awiyah vid Siffin. Imam Ali(A) ville inte heller ha någon blodsutgjutelse mellan dessa vilseledda fanatiker, så han skickade Abu Ayyub al-Ansari med ett budskap om fred. Abu Ayyub al-Ansari talade till dem med en hög stämma: ”den som ansluter under denna fana eller separerar sig från denna grupp och går till Kufa eller al-Mada’in skall få amnesti och kommer inte ifrågasättas.” Som ett resultat av detta sade Farwah Ibn Nawfal al-Ashja att han inte visste varför de var i krig med Imam Ali(A). Efter att ha sagt detta separerade han sig tillsammans med fem hundra män. På liknande sätt började grupp efter grupp att separera sig och några av dem anslöt sig till Imam Ali(A). I slutändan återstod det endast 1800 fanatiker kvar under befäl av Abdallah ibn Wahab. Dessa Kharjiter svor att de skulle kämpa mot Imam Ali(A) till varje pris.
Nahjul Balagha, predikan 36: En varning till folket i Nahrawan angående deras öde:
”Jag varnar er för att ni kommer att bli dödade vid bukten av denna kanal och i nivå med denna låga plats medan ni inte har någon klar förklaring inför Allah(SWT) eller någon öppen auktoritet med er. Ni har lämnat era hem och sedan har den Gudomliga bestämmelsen slutit sig omkring er. Jag har varnat er från denna dom men ni förkastade min varning som fiender och motståndare ända tills jag ändrade mina tankar i riktningen av era önskemål. Ni tillhör en grupp vars huvuden saknar kvickhet och intelligens. Må ni vara utan fader! (Guds vrede över er!) Jag har inte försatt er i elände och inte heller önskat er någon skada.”
Kharjiterna attackerade Imam Alis(A) armé med ett desperat mod. Men de hade ingen chans mot den överlägsna armén som bemötte dem och de blev alla dödade utom nio män. Dessa nio lyckades fly till Basra och andra ställen, där de spred sitt hat och rekryterade fler anhängare. Från Imam Alis(A) armé blev endast åtta personer martyrer. Striden ägde rum den 9 Safar, år 38 e.H. Två år senare, år 40 e.H., var det Kharjiterna som skickade ut tre lönnmördare för att döda Imam Ali(A), Mu’awiyah och Amr ibn Aas. De senare två överlevde men Imam Ali(A) blev martyr efter Ibn Muljims fega attack i Kufa-moskén.
Efter att ha gjort slut på Kharjiterna vid Nahrawan, återupptog Imam Ali(A) sin marsch till Syrien. Men överbefälhavarna bland hans anhängare uppmanade honom att stanna vid Kufa och låta männen vila innan den långa resan och ge möjlighet för armén att reparera sina vapen och rustningar. Imam Ali(A) gav sitt samtycke till denna begäran och slog läger vid Nukhayla utanför Kufa. Soldaterna tilläts permission för en dag.
Nästa dag, återvände knappt några män och slutligen anlände Imam Ali(A) till Kufa och gav en sträng predikan till folket. Men ingen av dem reste sig upp och slutligen vände sig Imam Ali(A) ifrån dem i besvikelse. Den syriska expeditionen övergavs för att aldrig återupptas.