Federasi Atletik Amatir Nasional Tiongkok(中華業餘運動聯合會) dibentuk pada 3 April 1922. Kemudian pada tahun itu juga, Komite Olimpiade Internasional mengakui Federasi ini sebagai Komite Olimpiade Tiongkok (中國奧林匹克委員會). Pada 1924, Wang Jheng-ting (王正廷), presiden Komite, terpilih sebagai anggota Komite Olimpiade Internasional dalam Sidang IOC ke-22, yang diadakan di Paris, Prancis.[1]
Federasi Atletik Amatir Nasional Tiongkok direorganisasi pada 24 Agustus 1924 di Shanghai; nama federasi tetap sama dalam bahasa Inggris namun berubah dalam bahasa Tionghoa. Federasi ini menghadiri upacara pembukaan Olimpiade Musim Panas 1924 di Paris, tetapi tidak mengikuti pertandingan; tidak ada atlet yang dikirim untuk mengikuti Olimpiade Musim Panas 1928 di Amsterdam. Pada Olimpiade Musim Panas 1932, yang diadakan di Los Angeles, Federasi menggunakan nama "China" dan hanya satu atlet, Liu Changchun, bertanding dalam lari cepat.[2][3]
Sebagai buntut dari Perang Saudara Tiongkok, sembilan belas dari dua puluh enam anggota federasi meninggalkan Tiongkok daratan menuju Taiwan. Markas besar federasi pindah dari Nanking ke Kota Taipei dan, dengan persetujuan IOC, federasi berganti nama menjadi Komite Olimpiade Tiongkok, Federasi Atlet Amatir Nasional.[4] Peraih medali Olimpiade pertama dalam sejarah negara ini adalah atlet TaiwanYang Chuan-kwang dalam Olimpiade Musim Panas 1960.[5]
Panitia Penyelenggara Olimpiade Musim Panas 1952 mengundang Republik Rakyat Tiongkok dan Republik Tiongkok mengikuti Olimpiade, karena IOC mengakui kedua Komite Olimpiade, tetapi Komite Olimpiade Tiongkok menarik diri dari Helsinki karena kontingennya terdaftar sebagai "China (Formosa)".[6][7] Federasi diberitahu oleh Komite Internasional bahwa, karena federasi tidak mengatur olahraga di Tiongkok Daratan, ia tidak bisa terus diakui sebagai "Komite Olimpiade Nasional Tiongkok," dan hanya penggunaan dengan nama yang berbeda akan dipertimbangkan. Selain itu, pengumuman tersebut menyatakan: "IOC tidak boleh terlibat dalam masalah atau pandangan politik." Komite Eksekutif dari Komite Olimpiade Internasional menyatakan Komite Olimpiade Nasional harus dipertimbangkan yurisdiksi lokalnya sendiri, tetapi memiliki yurisdiksi atas organisasinya.[4] Oleh karena itu, Federasi mereorganisasi dirinya menjadi Komite Olimpiade Republik Tiongkok (ROCOC), (中華民國奧林匹克委員會) pada 1 Januari 1960,[4] dan nama ini disetujui pada 1960-an.[7]
ROCOC setuju bahwa delegasinya harus dikenal sebagai "Taiwan", tetapi akan diizinkan untuk menggunakan inisial "ROC" pada pakaian olahraga mereka.[4] Sejak tahun 1971, Tiongkok Daratan telah menggunakan berbagai cara yang berbeda untuk menolak keanggotaan Republik Tiongkok di federasi olahraga internasional yang berbeda sejak Republik Rakyat Tiongkok menjadi anggota Perserikatan Bangsa-Bangsa.
Sebagai contoh, pada tahun 1971 Pemerintah Kanada mengumumkan tidak mengizinkan para anggota ROCOC untuk mengikuti Olimpiade Montreal karena Kanada mengakui Republik Rakyat Tiongkok sebagai satu-satunya pemerintah yang sah menurut Kebijakan Satu Tiongkok.[7]
Federasi menyelenggarakan Akademi Olimpiade Tionghoa Taipei (CTOA) (中華奧林匹克學院) tahunan, sebagai Sidang Akademi Olimpiade Nasional (NOA) (奧林匹克研討會) setiap tahunnya di berbagai kabupaten di Taiwan sejak 1978, dan Akademi menjadi Komite Olimpiade Nasional keempat, dan merupakan NOC pertama di Asia yang menyelenggarakan Akademi Olimpiade.[8]
Komite Olimpiade Amerika Serikat mencoba memecahkan masalah keanggotaan antara ROCOC dan Komite Olimpiade Tiongkok selama Sidang IOC ke-81 di Montevideo, Uruguay ketika hubungan antara Republik Tiongkok dan Amerika Serikat putus pada tahun 1979. ROCOC dipaksa untuk mengubah nama komite dan tidak lagi diizinkan untuk menggunakan lagu kebangsaan dan bendera nasional Republik Tiongkok berdasarkan hasil surat suara pos (62:17) oleh Komite Eksekutif dari Komite Olimpiade Internsional di Nagoya, Jepang.[4][9] Kemudian, Mahkamah Swiss mengabulkan peninjauan kembali resolusi oleh IOC terhadap ROCOC dan anggota IOC asal Taiwan Hsu Heng (徐亨) dan dianggap melanggar Piagam Olimpiade. Akibatnya, IOC memodifikasi Piagam Olimpiade pada tahun 1980 yang menyatakan bahwa delegasi Olimpiade diakui Komite Olimpiade Nasional oleh IOC dan para anggota IOC tidak dapat menuntut IOC menyusul keputusan oleh Mahkamah Swiss.[7]
ROCOC diubah namanya menjadi Komite Olimpiade Tionghoa Taipei (中華奧林匹克委員會) sesuai dengan kesepakatan yang disetujui antara Komite Olimpiade Internasional, di Lausanne, dan Komite Olimpiade Tionghoa Taipei, di Taipei (國際奧會與中華台北奧會協議書) ditandatangani oleh Shen Jia-ming (delegasi Komite) yang menyerahkannya kepada Komite Olimpiade Internasional di Lausanne, Swiss pada 23 Maret 1981, dengan bantuan Juan Antonio Samaranch, presiden IOC.[7][10] Kesepakatan disetujui ini memungkinkan delegasi Komite Olimpiade Tionghoa Taipei menggunakan Tionghoa Taipei (中華臺北) untuk menunjukkan jati diri mereka, dan lambang dari Komite Olimpiade Tionghoa Taipei dan bendera Olimpiade Tionghoa Taipei sebagai simbol delegasi. Selain itu, tim Tionghoa Taipei akan menggunakan huruf T untuk menentukan urutan abjad dalam Direktori IOC.[11] Komite ini bertanding untuk pertama kalinya dengan nama baru di Sarajevo Games.
Adapun untuk pertukaran olahraga antara Tiongkok Daratan dan ROC, setiap delegasi atau organisasi dari ROC akan menggunakan "Tionghoa Taipei" (中華台北) daripada "Tiongkok Taipei" (中國台北) untuk berpartisipasi dalam acara-acara terkait yang disepakati dan ditandatangani oleh Komite Olimpiade Tionghoa Taipei dan Komite Olimpiade Tiongkok pada 6 April 1989, di Hong Kong.[7][12]
Lagu Bendera Nasional Republik Tiongkok digunakan sebagai lagu kebangsaan Tionghoa Taipei dan juga Lagu Kebangsaan Komite Olimpiade Tionghoa Taipei (中華奧林匹克委員會會歌) tetapi bukan Lagu Kebangsaan Republik Tiongkok, setelah kesepakatan yang ditandatangani pada tahun 1981 yang disetujui oleh Komite Olimpiade Internasional pada Juni 1981.[14] Selain itu, liriknya dimodifikasi dengan teori Olimpisme ketika diajukan untuk disetujui pada tahun 1981 tetapi tidak lazim digunakan di Taiwan.[15]
^湯銘新 (2008-12-15). "解析「奧會模式」與政治歧視--追記「兩會洛桑協議」之淵源". 國民體育季刊156期 (dalam bahasa Tionghoa). 行政院體育委員會. Diarsipkan dari versi asli tanggal 2012-09-10. Diakses tanggal 2010-07-04.
^"奧會模式". Diarsipkan dari versi asli tanggal 2016-09-24. Diakses tanggal 2016-12-16.