När Imam Ali(A) blev Kalif, var han tvungen att utkämpa många strider. Det sista av dessa var slaget i Nahrawan mot Kharijiterna. Dessa var de människor som hade övergett Imam Ali(A) för att de trodde att han var för skonsam och mild mot Muawiyah i slaget vid Siffin. Efter deras uppror åkte de till Mecka där de planerade att mörda Imam Ali(A), Muawiyah och Amr Al-Aas. Amr var Muawiyas närmsta rådgivare och hans befälhavare i Egypten.
Kharijiterna var rädda att han skulle ta över ledarskapet efter Muawiyas död. Genom att döda dem trodde Kharijiterna att de kunde ta över makten i det muslimska väldet. Tre Kharijiter formade en pakt med målet att mörda dessa tre ledare; Abdulrahman bin Muljim skulle döda Imam Ali(A), Burak bin Abdallah Tymi skulle döda Muawiyah och Amr bin Bakr Tymi skulle döda Amr Al-Aas. Morgonen till fredagen den 19 i månaden Ramadan 40 A. H var datumet de kom överens om att utföra planen. De tre mördarna förgiftade sina svärd och tog sina vägar mot Kufa, Damaskus och Egypten.
Mannen som skulle till Egypten dödades innan han hade hunnit närma sig Amr Al-as. Burak, som skulle mörda Muawiyah nådde Damaskus och slog honom men misslyckades att döda honom. Men mannen som skulle mörda Imam Ali(A), nådde Kufa säkert och stannade i Kufas moské natten till den 19 i månaden Ramadan.
På morgonen den dagen gick Imam Ali(A) till moskén och började väcka alla människor som sov där. Bin Muljim sov då på sin mage för att dölja sitt svärd och Imam Ali(A) väckte honom också och sade till honom att inte sova på magen för att det var Satans sätt att sova. Efter böneutropet ledde Imam Ali(A) morgonbönen och Bin Muljim – som låtsades att han stod och bad – stod nära Imam Ali(A).
När Imamen bugade sig gav Bin Muljim honom ett hårt slag mot hans huvud. Den heliga Profeten(S) hade tidigare talat om denna händelse för Imam Ali(A) och hans barn och sade: ”O Ali, jag ser ditt skägg färgat med blod som rinner från din panna”. Mördaren blev tillfångatagen strax efter dådet och blev därmed hämtad till Imam Ali(A).
När Imamen såg att repet som Bin Muljim var bunden med skar genom bedrövarens hud glömde han sina egna plågor och beordrade att Bin Muljim borde bli behandlad med mer mänsklighet. Förövaren påverkades av dessa ord och fick ett gråtanfall.
Ett leende målades på Imamens(A) läppar och han sade med en svag röst: ”Det är mycket sent att ångra sig nu. Du har redan gjort din gärning. Var jag en dålig Imam eller en ovänlig ledare?” Detta var ett typiskt uppförande från Imam Ali(A), som alltid behandlade folk med barmhärtighet, även om det var hans värsta fiender. Imam Ali(A) blev buren hem från moskén. Under hans sista timmar i livet kom Asbagh Bin Nabata, en av hans anhängare och frågade honom om några rådgivande ord. Då svarade Imam Ali(A) med att säga: ”O Asbagh, vad kan vara bättre råd än faktumet att jag var i ert sällskap igår, att jag är er gäst idag och att jag endast kommer att vara ett minne imorgon”.
Hans sista ord till hans söner var: ”Förbli starka med ödmjukhet och överlämna er själva till Allahs(SWT) vilja. Längta aldrig till något som inte är inom ert räckhåll. Var alltid sanningsenliga och barmhärtiga mot de föräldralösa. Hjälp de fattiga och försök att leva i världen på ett sätt som kan hjälpa till att det blir bättre”. Han bad dem att endast bära upp hans kista från baksidan, då framsidan skulle bli buren av osynliga händer. Han sade att de skulle följa den linjen som kistan själv visade. Där kistan stannar kommer de att hitta en redan grävd grav avsedd för honom. Han begärde av hans söner att han skulle begravas i hemlighet för att han inte ville att hans fiender skulle vanhelga hans grav.
Den 21 i månaden Ramadan år 40 A. H lämnade Imam Ali(A) denna värld. Han blev 63 år gammal. Efter att ha tvättat och svept hans kropp bar hans söner Imam Hassan(A) och Imam Hossein(A) upp hans kista. Kistan stannade i Najaf, som ligger ca 4 mil från Kufa. Där hittade de en redan öppen grav med ett meddelande som löd: ”Denna grav har blivit grävd av profeten Noa(A) åt de troendes Mästare, Imam Ali(A).”