Masjid ini didirikan sekitar tahun 1905 atas prakarsa Syekh Muhammad Salim al-Khalidi Bayur bersama sejumlah tokoh masyarakat seperti Dt. Batuah, Abdulwahid, H. Abdurrahman, dan Labai Nan Saliah. Peletakan batu pertamanya dilakukan pada tanggal 19 Dzulhijjah 1322 H.
Syekh Salim adalah seorang ulama setempat yang mendirikan Madrasah Tarbiyah Islamiyah (MTI) Bayur. Ia juga mengasuh pengajian di Surau Payung yang berada di sebelah masjid. Syekh Salim wafat pada 1938 dan dimakamkan di depan Masjid Raya Bayur.[2]
Renovasi
Melihat kondisi bangunan dan lingkungan masjid yang kian tidak tertata dengan baik, pada awal tahun 2000 masyarakat setempat berupaya merenovasi Masjid Raya Bayur secara menyeluruh. Gagasan-gagasan tersebut timbul dari Datuak Hakim Tantawi, seorang pengusaha di Jakarta (sumando orang Bayur) dan didukung oleh Bachtiar Chamsyah selaku perantau Bayur di Jakarta yang saat itu menjabat sebagai Menteri Sosial RI. Selain Bachtiar, para perantau yang berasal dari Nagari Bayur juga ikut mengirimkan bantuan. Renovasi masjid selesai dan diresmikan pada 8 September 2004.
Renovasi yang dilakukan meliputi perbaikan bangunan masjid dan penataan lingkungan masjid, seperti penataan ruang terbuka, area parkir, dan taman masjid. Untuk menyukseskan renovasi tersebut, masyarakat terpaksa membongkar dua buah banguan permanen, yaitu gedung balerong (kantor pemerintahan Nagari Bayur) dan gedung sekolah dasar, yang kemudian dipindahkan ke tempat lain.
Bangunan
Pada ruang dalam masjid terpampang sejumlah ornamen. Pada bagian dinding masjid, misalnya, dilapisi dengan papan berukir yang dicat dengan komposisi warna bernuansa gelap. Begitu juga dengan tiang-tiang penyangga masjid. Tiang-tiang yang terbuat dari tembok tersebut dihiasi dengan warna lembut yang serasi dengan dinding masjid.
Pada bagian depan masjid, terdapat ruang terbuka yang dilengkapi dengan air mancur. Sementara pada bagian belakang ruangan masjid terdapat kolam ikan, dan di samping kiri dan kanan kolam ikan tersebut terdapat tempat wudu.
Masjid ini dilengkapi beberapa fasilitas pendukung, seperti tempat penitipan sandal dan sepatu, tempat wudu laki-laki dan perempuan, serta area parkir. Bagi jamaah perempuan yang ingin menunaikan ibadah salat, namun tidak membawa kelengkapannya, di dalam masjid sudah tersedia beberapa sarung dan mukena.