Asosiasi Muslim Tionghoa awalnya didirikan pada tahun 1938 di Wuhan dengan nama Asosiasi Keselamatan Muslim Tionghoa (中國回民救國協會) dengan sokongan dari Kuomintang. Organisasi ini kemudian berganti nama menjadi Asosiasi Muslim (回教救國協會) pada tahun 1939, lalu berubah menjadi Asosiasi Muslim Tionghoa (中國回教協會) pada tahun 1942.[6]
Setelah pengembalian Taiwan dari Jepang ke Tiongkok pada tahun 1945, kantor pusat asosiasi di Nanking menunjuk Chang Zichun (常子春), Wang Jingzhai (王靜齋), dan Zheng Houren (鄭厚仁) untuk membentuk komite persiapan bagi pembukaan cabang di Taiwan pada tanggal 23 Desember 1947.[7][8]
Asosiasi Muslim Tionghoa menjalankan berbagai kegiatan kesukarelawanan di Taiwan, yang dipandang sebagai hal yang baik oleh umat Islam. Setiap masjid berserta segala urusannya masing-masing dijalankan oleh dewan direksi tersendiri, sedangkan penyelenggaraan beasiswa dan ceramah diatur oleh Yayasan Kebudayaan dan Pendidikan Islam yang berafiliasi kepada asosiasi ini.[11]
Selain memberikan pelayanan bagi umat Islam dan membantu meningkatkan kesejahteraan masyarakat Taiwan pada umumnya, asosiasi ini melalui Komisi Urusan Luar Negerinya secara aktif telah terlibat dalam pertukaran kebudayaan dengan Muslim dari 46 negara di dunia, yang mana banyak di antaranya berasal dari negara yang belum memiliki hubungan diplomatik resmi dengan Pemerintah Republik Tiongkok (Taiwan). Mereka juga menerima kunjungan dan menjamu Muslim dari negara-negara lain yang berkunjung ke Taiwan.[9][12]
Asosiasi juga telah menjalankan pengiriman para siswa Muslim Taiwan ke luar negeri, bagi mereka yang ingin menempuh pendidikan agama Islam secara formal. Dalam rangka terus menjaga keimanan di kalangan umat Islam, asosiasi mengembangkan rencana "edukasi bagi para pendidik sekuler", serta kerjasama dengan Biro Pendidikan Pemerintah Kota Taipei yang telah menyetujui proposal untuk mengadakan berbagai kursus mengenai Islam bagi para guru sekolah dasar dan menengah selama liburan musim panas. Mereka juga menyediakan informasi otentik tentang Islam bagi guru-guru sekolah umum, untuk membantu mengatasi stereotip dan kesalahpahaman terhadap Islam.[13]
Pada tahun 1980, asosiasi menyumbang US$ 50.000 untuk membantu pengungsi Afghanistan.[10]
