Masjid ini berada di sebelah barat daya dari Masjid Nabawi sekitar 300 meter, dan 100 meter dari Masjid Ghomamah. Masjid ini adalah shaf sholat tempat dimana Sayyidina Ali bin Abi Thalib ketika mengikuti sholat istisqo' dan sholat ied bersama Rasulullah SAW. dan para sahabatnya. Masjid ini ditutup tidak lagi untuk ditempat sholat wajib, karena sangat dekatnya dengan Masjid Nabawi. Tempat shaf shalat dimana Sayyidina Ali mengikuti sholat istisqo dan sholat ied diabadikan sampai saat ini menjadi Masjid Ali. Berbeda dengan Masjid Ali yang didalam peperangan Parit/khandaq, masjid ini adalah tempat pos Sayyidina Ali ketika mengikuti Perang Parit/Perang Khandaq/Perang Ahzab. Pos Sayyidina Ali ketika itu hingga saat ini diabadikan menjadi Masjid Ali, tapi dalam tahun-tahun ini tertutup untuk sholat baik sunnat apalagi wajib, nampak gambar sebelum dilarang sholat didalamnya, banyak jamaah haji dan umroh sholat sunnat di dalamnya.

‘Alī bin Abī Thālib (Arab: علي بن أﺑﻲ طالب, Persia: علی پسر ابو طالب)‎ (599 – 661) adalah salah seorang pemeluk Islam pertama dan juga keluarga dari Nabi Muhammad. Menurut Islam Sunni, ia adalah Khalifah terakhir dari Khulafaur Rasyidin. Sedangkan Syi'ah berpendapat bahwa ia adalah Imam sekaligus Khalifah pertama yang dipilih oleh Rasulullah Muhammad SAW. Uniknya meskipun Sunni tidak mengakui konsep Imamah mereka setuju memanggil Ali dengan sebutan Imam, sehingga Ali menjadi satu-satunya Khalifah yang sekaligus juga Imam. Ali adalah sepupu dari Nabi Muhammad SAW, dan setelah menikah dengan Fatimah az-Zahra, ia menjadi menantu Nabi Muhammad SAW.

Syi'ah berpendapat bahwa Ali adalah khalifah yang berhak menggantikan Nabi Muhammad, dan sudah ditunjuk oleh Beliau atas perintah Allah di Ghadir Khum. Syi'ah meninggikan kedudukan Ali atas Sahabat Nabi yang lain, seperti Abu Bakar dan Umar bin Khattab.

Syi'ah selalu menambahkan nama Ali bin Abi Thalib dengan Alayhi Salam (AS) atau semoga Allah melimpahkan keselamatan dan kesejahteraan.

Sebagian Sunni yaitu mereka yang menjadi anggota Bani Umayyah dan para pendukungnya memandang Ali sama dengan Sahabat Nabi yang lain.

Sunni menambahkan nama Ali dengan Radhiyallahu Anhu (RA) atau semoga Allah melimpahkan Ridha (ke-suka-an)nya. Tambahan ini sama sebagaimana yang juga diberikan kepada Sahabat Nabi yang lain.

Sufi menambahkan nama Ali bin Abi Thalib dengan Karramallahu Wajhah (KW) atau semoga Allah me-mulia-kan wajahnya. Doa kaum Sufi ini sangat unik, berdasar riwayat bahwa beliau tidak suka menggunakan wajahnya untuk melihat hal-hal buruk bahkan yang kurang sopan sekalipun. Dibuktikan dalam sebagian riwayat bahwa beliau tidak suka memandang ke bawah bila sedang berhubungan intim dengan istri. Sedangkan riwayat-riwayat lain menyebutkan dalam banyak pertempuran (duel-tanding), bila pakaian musuh terbuka bagian bawah terkena sobekan pedang beliau, maka Ali enggan meneruskan duel hingga musuhnya lebih dulu memperbaiki pakaiannya.

Ali bin Abi Thalib dianggap oleh kaum Sufi sebagai Imam dalam ilmu al-hikmah (divine wisdom) dan futuwwah (spiritual warriorship). Dari beliau bermunculan cabang-cabang tarekat (thoriqoh) atau spiritual-brotherhood. Hampir seluruh pendiri tarekat Sufi, adalah keturunan beliau sesuai dengan catatan nasab yang resmi mereka miliki. Seperti pada tarekat Qadiriyah dengan pendirinya Syekh Abdul Qadir Jaelani, yang merupakan keturunan langsung dari Ali melalui anaknya Hasan bin Ali seperti yang tercantum dalam kitab manaqib Syekh Abdul Qadir Jilani (karya Syekh Ja'far Barzanji) dan banyak kitab-kitab lainnya.

Ali dilahirkan di Mekkah, daerah Hejaz, Jazirah Arab, pada tanggal 13 Rajab. Menurut sejarawan, Ali dilahirkan 10 tahun sebelum dimulainya kenabian Muhammad, sekitar tahun 599 Masehi atau 600(perkiraan). Muslim Syi'ah percaya bahwa Ali dilahirkan di dalam Ka'bah. Usia Ali terhadap Nabi Muhammad masih diperselisihkan hingga kini, sebagian riwayat menyebut berbeda 25 tahun, ada yang berbeda 27 tahun, ada yang 30 tahun bahkan 32 tahun.

Beliau bernama asli Haydar bin Abu Thalib, paman Nabi Muhammad SAW. Haydar yang berarti Singa adalah harapan keluarga Abu Thalib untuk mempunyai penerus yang dapat menjadi tokoh pemberani dan disegani di antara kalangan Quraisy Mekkah.

Setelah mengetahui sepupu yang baru lahir diberi nama Haydar, Nabi SAW memanggil dengan Ali yang berarti Tinggi (derajat di sisi Allah).

Ali dilahirkan dari ibu yang bernama Fatimah binti Asad, dimana Asad merupakan anak dari Hasyim, sehingga menjadikan Ali, merupakan keturunan Hasyim dari sisi bapak dan ibu.

Kelahiran Ali bin Abi Thalib banyak memberi hiburan bagi Nabi SAW. karena beliau tidak punya anak laki-laki. Uzur dan faqir nya keluarga Abu Thalib memberi kesempatan bagi Nabi SAW bersama istri beliau Khadijah untuk mengasuh Ali dan menjadikannya putra angkat. Hal ini sekaligus untuk membalas jasa kepada Abu Thalib yang telah mengasuh Nabi sejak beliau kecil hingga dewasa, sehingga sedari kecil Ali sudah bersama dengan Nabi Muhammad SAW.

Ketika Nabi Muhammad SAW menerima wahyu, riwayat-riwayat lama seperti Ibnu Ishaq menjelaskan Ali adalah lelaki pertama yang mempercayai wahyu tersebut atau orang ke 2 yang percaya setelah Khadijah istri Nabi sendiri. Pada titik ini Ali berusia sekitar 10 tahun.

Pada usia remaja setelah wahyu turun, Ali banyak belajar langsung dari Nabi SAW karena sebagai anak asuh, berkesempatan selalu dekat dengan Nabi hal ini berkelanjutan hingga beliau menjadi menantu Nabi. Hal inilah yang menjadi bukti bagi sebagian kaum Sufi bahwa ada pelajaran-pelajaran tertentu masalah ruhani (spirituality dalam bahasa Inggris atau kaum Salaf lebih suka menyebut istilah 'Ihsan') atau yang kemudian dikenal dengan istilah Tasawuf yang diajarkan Nabi khusus kepada beliau tapi tidak kepada Murid-murid atau Sahabat-sahabat yang lain.

Karena bila ilmu Syari'ah atau hukum-hukum agama Islam baik yang mengatur ibadah maupun kemasyarakatan semua yang diterima Nabi harus disampaikan dan diajarkan kepada umatnya, sementara masalah ruhani hanya bisa diberikan kepada orang-orang tertentu dengan kapasitas masing-masing.

Didikan langsung dari Nabi kepada Ali dalam semua aspek ilmu Islam baik aspek zhahir (exterior) atau syariah dan bathin (interior) atau tasawuf menggembleng Ali menjadi seorang pemuda yang sangat cerdas, berani dan bijak.

Ali bersedia tidur di kamar Nabi untuk mengelabui orang-orang Quraisy yang akan menggagalkan hijrah Nabi. Beliau tidur menampakkan kesan Nabi yang tidur sehingga masuk waktu menjelang pagi mereka mengetahui Ali yang tidur, sudah tertinggal satu malam perjalanan oleh Nabi yang telah meloloskan diri ke Madinah bersama Abu Bakar.

Setelah masa hijrah dan tinggal di Madinah, Ali dinikahkan Nabi dengan putri kesayangannya Fatimah az-Zahra yang banyak dinanti para pemuda. Nabi menimbang Ali yang paling tepat dalam banyak hal seperti Nasab keluarga yang se-rumpun (Bani Hasyim), yang paling dulu mempercayai ke-nabi-an Muhammad (setelah Khadijah), yang selalu belajar di bawah Nabi dan banyak hal lain.

Ketika Muhammad mencari Ali menantunya, ternyata Ali sedang tidur. Bagian atas pakaiannya tersingkap dan debu mengotori punggungnya. Melihat itu Muhammad pun lalu duduk dan membersihkan punggung Ali sambil berkata, "Duduklah wahai Abu Turab, duduklah." Turab yang berarti debu atau tanah dalam bahasa Arab. Julukan tersebut adalah julukan yang paling disukai oleh Ali.

Beberapa saat setelah menikah, pecahlah perang Badar, perang pertama dalam sejarah Islam. Di sini Ali betul-betul menjadi pahlawan disamping Hamzah, paman Nabi. Banyaknya Quraisy Mekkah yang tewas di tangan Ali masih dalam perselisihan, tapi semua sepakat beliau menjadi bintang lapangan dalam usia yang masih sangat muda sekitar 25 tahun.

Perang Khandaq juga menjadi saksi nyata keberanian Ali bin Abi Thalib ketika memerangi Amar bin Abdi Wud . Dengan satu tebasan pedangnya yang bernama dzulfikar, Amar bin Abdi Wud terbelah menjadi dua bagian.

Setelah Perjanjian Hudaibiyah yang memuat perjanjian perdamaian antara kaum Muslimin dengan Yahudi, dikemudian hari Yahudi mengkhianati perjanjian tersebut sehingga pecah perang melawan Yahudi yang bertahan di Benteng Khaibar yang sangat kokoh, biasa disebut dengan perang Khaibar. Di saat para sahabat tidak mampu membuka benteng Khaibar, Nabi saw bersabda:

"Besok, akan aku serahkan bendera kepada seseorang yang tidak akan melarikan diri, dia akan menyerang berulang-ulang dan Allah akan mengaruniakan kemenangan baginya. Allah dan Rasul-Nya mencintainya dan dia mencintai Allah dan Rasul-Nya".

Maka, seluruh sahabat pun berangan-angan untuk mendapatkan kemuliaan tersebut. Namun, temyata Ali bin Abi Thalib yang mendapat kehormatan itu serta mampu menghancurkan benteng Khaibar dan berhasil membunuh seorang prajurit musuh yang berani bernama Marhab lalu menebasnya dengan sekali pukul hingga terbelah menjadi dua bagian.

Hampir semua peperangan beliau ikuti kecuali perang Tabuk karena mewakili Nabi Muhammad SAW. untuk menjaga kota Madinah.

Sampai disini hampir semua pihak sepakat tentang riwayat Ali bin Abi Thalib, perbedaan pendapat mulai tampak ketika Nabi Muhammad wafat. Syi'ah berpendapat sudah ada wasiat (berdasar riwayat Ghadir Khum) bahwa Ali harus menjadi Khalifah bila Nabi SAW wafat. Tetapi Sunni tidak sependapat, sehingga pada saat Ali dan Fatimah masih berada dalam suasana duka orang-orang Quraisy bersepakat untuk membaiat Abu Bakar.

Pengangkatan Abu Bakar sebagai Khalifah tentu tidak disetujui keluarga Nabi Ahlul Bait dan pengikutnya. Beberapa riwayat berbeda pendapat waktu pem-bai'at-an Ali bin Abi Thalib terhadap Abu Bakar sebagai Khalifah pengganti Rasulullah. Ada yang meriwayatkan setelah Nabi dimakamkan, ada yang beberapa hari setelah itu, riwayat yang terbanyak adalah Ali mem-bai'at Abu Bakar setelah Fatimah meninggal, yaitu enam bulan setelah meninggalnya Rasulullah demi mencegah perpecahan dalam ummat

Ada yang menyatakan bahwa Ali belum pantas untuk menyandang jabatan Khalifah karena umurnya yang masih muda, ada pula yang menyatakan bahwa kekhalifahan dan kenabian sebaiknya tidak berada di tangan Bani Hasyim.

Peristiwa pembunuhan terhadap Khalifah Utsman bin Affan mengakibatkan kegentingan di seluruh dunia Islam yang waktu itu sudah membentang sampai ke Persia dan Afrika Utara. Pemberontak yang waktu itu menguasai Madinah tidak mempunyai pilihan lain selain Ali bin Abi Thalib sebagai khalifah, waktu itu Ali berusaha menolak, tetapi Zubair bin Awwam dan Talhah bin Ubaidillah memaksa beliau, sehingga akhirnya Ali menerima bai'at mereka. Menjadikan Ali satu-satunya Khalifah yang dibai'at secara massal, karena khalifah sebelumnya dipilih melalui cara yang berbeda-beda.

Sebagai Khalifah ke-4 yang memerintah selama sekitar 5 tahun. Masa pemerintahannya mewarisi kekacauan yang terjadi saat masa pemerintah Khalifah sebelumnya, Utsman bin Affan. Untuk pertama kalinya perang saudara antara umat Muslim terjadi saat masa pemerintahannya, Perang Jamal. 20.000 pasukan pimpinan Ali melawan 30.000 pasukan pimpinan Zubair bin Awwam, Talhah bin Ubaidillah, dan Ummul mu'minin Aisyah binti Abu Bakar, janda Rasulullah. Perang tersebut dimenangkan oleh pihak Ali.

Peristiwa pembunuhan Khalifah Utsman bin Affan yang menurut berbagai kalangan waktu itu kurang dapat diselesaikan karena fitnah yang sudah terlanjur meluas dan sudah diisyaratkan (akan terjadi) oleh Nabi Muhammad SAW ketika beliau masih hidup, dan diperparah oleh hasutan-hasutan para pembangkang yang ada sejak zaman Utsman bin Affan, menyebabkan perpecahan di kalangan kaum muslim sehingga menyebabkan perang tersebut. Tidak hanya selesai di situ, konflik berkepanjangan terjadi hingga akhir pemerintahannya. Perang Shiffin yang melemahkan kekhalifannya juga berawal dari masalah tersebut.

Ali bin Abi Thalib, seseorang yang memiliki kecakapan dalam bidang militer dan strategi perang, mengalami kesulitan dalam administrasi negara karena kekacauan luar biasa yang ditinggalkan pemerintahan sebelumya. Ia meninggal di usia 63 tahun karena pembunuhan oleh Abdrrahman bin Muljam, seseorang yang berasal dari golongan Khawarij (pembangkang) saat mengimami salat subuh di masjid Kufah, pada tanggal 19 Ramadhan, dan Ali menghembuskan napas terakhirnya pada tanggal 21 Ramadhan tahun 40 Hijriyah. Ali dikuburkan secara rahasia di Najaf, bahkan ada beberapa riwayat yang menyatakan bahwa ia dikubur di tempat lain.

Ali memiliki delapan istri setelah meninggalnya Fatimah az-Zahra dan memiliki keseluruhan 36 orang anak. Dua anak laki-lakinya yang terkenal, lahir dari anak Nabi MuhammadSAW., Fatimah, adalah Hasan dan Husain.

Keturunan Ali melalui Fatimah dikenal dengan Syarif atau Sayyid, yang merupakan gelar kehormatan dalam Bahasa Arab, Syarif berarti bangsawan dan Sayyed berarti tuan. Sebagai keturunan langsung dari Nabi Muhammad SAW, mereka dihormati oleh Sunni dan Syi'ah.

Menurut riwayat, Ali bin Abi Thalib memiliki 36 orang anak yang terdiri dari 18 anak laki-laki dan 18 anak perempuan. Sampai saat ini keturunan itu masih tersebar, dan dikenal dengan Alawiyin atau Alawiyah. Sampai saat ini keturunan Ali bin Abi Thalib kerap digelari Sayyid.