Pada abad ke 18, Syekh Abdurrahman Mishri yang asalnya adalah seorang bangsawan asal Minangkabau, datang ke Tanah Abang, Batavia, untuk menyaksikan pusat perdagangan yang terkenal sampai ke tanah Minang tersebut. Prihatin dengan kesibukan masyarakat saat itu yang hanya berdagang dan jauh dari sentuhan agama dan dakwah, maka Syekh Abdurrahman Mishri mendirikan Masjid Jami al Islam (tahun 1770 M) dengan dibantu oleh masyarakat dan memulai dakwahnya di sana.[2]
Syekh Abdurrahman Mishri wafat dan dimakamkan di areal Masjid Jami Al Islam.[2][3]
Sepeninggal Syekh Abdurrahman Mishri, Masjid Jami al Islam dikelola oleh cucunya, yaitu Habib Usman bin Yahya