Ustad Mazari lahir di desa Charkent, selatan dari Kota Mazari Sharif. Ia mulai bersekolah dalam teologi di sekolah di desanya, setelah itu ia pergi ke kota Mazari Sharif, lalu Qom di Iran, selanjutnya Najaf di Iraq. Ia hidup dalam kemelaratan.
Di Iran, Mazari dipenjara dan disiksa setelah dituduh membuat konspirasi melawan Shah Iran dengan bantuan para paderi Shiah.
Dengan terjadinya pendudukan Afganistan oleh Uni Soviet, Mazari kembali ke tempat kelahirannya dan mendapat tempat terkemuka dalam gerakan perlawanan anti-Soviet. Selama tahun pertama perlawanannya, ia kehilangan adiknya, Mohammed Sultan, selama pertempuran melawan pasukan Soviet. Dia kehilangan beberapa anggota keluarga lainnya selama perlawanan. Pamannya, Mohammad Ja'afar, dan anaknya, Mohammad Afzal, ditangkap dan dibunuh oleh rezim boneka di Kabul. Ia juga kehilangan ayahnya, Haji Khudadad, dan saudara kandungnya, Haji Mohammad Nabi, dalam gerakan perlawanan.
Mazari adalah salah satu pendiri dan pemimpin pertama Hizb e Wahdat.[1] Di kongres pertama dari partai itu, ia dipilih sebagai pemimpin dari Komite Pusat. Selama kongres kedua, ia dipilih sebagai sekretaris jendral. Inisiasi Mazari memimpin dibentuknya Jonbesh-e Shamal, sebuah gerakan perlawanan di daerah utara Afganistan.
Jatuhnya Kabul ke tangan Mujahidin membuat munculnya Perang Saudara Afganistan di antara beberapa faksi, selama periode ini, Mazari memimpin Hizb e Wahdat yang basisnya terletak di Kabul Barat untuk melawan.
Mullah Burjan, pemimpin Taliban, meminta pertemuan dengan Mazari. Namun ia dikhianati dan ditangkap, sehingga Kabul Barat dapat direbut oleh Taliban.
Mazari dan anggotanya akan dikirim dengan helikopter ke Kandahar, benteng Taliban. Selama penerbangan itu ia dibunuh di dekat kota Ghazni dengan dilempar keluar dari helikopter yang sedang dinaikinya.
