Sebagai salah satu masjid tertua di Kota Padang, konstruksi Masjid Istighfar relatif kuat. Ketika masjid-masjid lain mengalami kerusakan parah akibat gempa bumi yang sering terjadi di Padang, masjid ini cenderung aman, walaupun sedikit banyak tetap ada kerusakan di beberapa tempat. Masjid ini dibangun menggunakan material batu-bata, pasir, semen, dan kayu-kayu keras yang didatangkan dari luar Padang. Pembangunannya sendiri dikerjakan bergotong royong oleh masyarakat setempat. Bentuk bangunan yang asli masih tetap dipertahankan sampai sekarang, walaupun pada beberapa bagian ada yang sudah rusak dan mengalami perbaiakan.
Sekembalinya dari menuntut ilmu agama di Mekkah pada tahun 1905, Syekh Khatib Muhammad Ali mendirikan sebuah masjid yang cukup besar di tepi Batang Arau. Masjid ini dibangun seadanya, menggunakan bahan-bahan kayu, sedikit material pasir dan bebatuan, dengan atap terbuat dari rumbia. Seperti masjid-masjid di Padang lainnya yang didirikan sebelum kemerdekaan, masjid ini pada awal berdirinya masih berupa surau. Pada tahun-tahun berikutnya, atas bantuan tanah dari warga Parak Gadang, masjid yang jauh lebih besar dibangun kembali di tempat yang sama.[1]
Di masjid yang baru, Khatib Muhammad Ali mengajar ilmu agama kepada murid-muridnya, yang kelak menyebar ke berbagai wilayah di Nusantara. Untuk menunjang kegiatan pendidikan keagamaan yang dilakukannya, pada tahun 1923 ia mendirikan Madrasah Irsyadiyah. Pada tahun 1928, Khatib Muhammad Ali bersama sahabat-sahabatnya seperti Sulaiman Ar-Rasuli, Muhammad Jamil Jaho, dan Abdul Wahid Tabek Gadang mendirikan Persatuan Tarbiyah Islamiyah (Perti) di Candung, Agam. Organisasi inilah yang kelak ikut berperan mengantar Indonesia menuju kemerdekaan penuh dari penjajahan kolonial.[1]
