Banyak diantara para pedagang dan saudagar dari Arab dan India yang menetap di daerah ini yang kemudian menjadi Batavia. Pedagang dari India membangun sebuah masjid di daerah tersebut untuk memenuhi kebutuhan mereka untuk melakukan ibadah. Masjid Jami Kampung Baru dibangun oleh Syekh Abubakar yang merupakan salah satu saudagar Muslim dari India dan yang tinggal di daerah tersebut. Pekerjaan konstruksi dimulai pada tahun 1743 dan selesai pada tahun 1748.[2]Dalam artikel bahasa belanda tahun 1829 Masjid Kampong Baru ini disebut juga Moorsche Tempel (Temple of the Moor). Mungkin dari sinilah asal-usul historis bahwa masjid ini dibangun oleh Muslim Moor, kemudian istilah Moorish ini diidentifikasi sebagai Muslim India. Meskipun terminologi Moorishsendiridigunakan untuk mengidentifikasi kelompok etnis Muslim di Afrika Utara (Maroko dan sekitarnya) yang pada masanya berhasil menaklukkan Eropa dan mendirikan sebuah kerajaan Islam di Andalusia (Spanyol).
Arsitektur
Saat ini bangunan masjid sudah tidak lagi dalam bentuk aslinya, kecuali kerangka tengah yang berbentuk persegi, dengan ukiran setandan buah anggur dan beberapa pilar pada jendela. Pada akhir 1980-an, bangunan-bangunan tua di Pekojan dibongkar untuk jalan layang. Masjid Kampung Baru juga mengalami kerusakan walaupun sebenarnya memiliki nilai-nilai sejarah dan arsitekturnya. Rancangan dasar masjid ini berbentuk persegi dengan atap bangunan tumpang tindih, atap atas berbentuk piramida. Bentuk masjid ini menyerupai rumah tradisional Jawa, di mana biasanya terdapat 4 tiang soko guru di bagian tengah bangunan sebagai penyangga dari atap yang berbentuk limas.
Masjid ini memiliki kawasan sekitar 1.050 meter persegi, lantainya berwarna putih, hijau dan merah. Di langit masjid tergantung lampu antik yang sudah ada sejak masjid ini berdiri. Masjid ini pernah memiliki mimbar yang paling indah, terbuat dari kayu yang diukir. Mimbar ini sekarang telah diganti. Mimbar asli disimpan di Museum Sejarah Jakarta.[3]