Yaman hanya berkompetisi dalam Olimpiade Musim Panas, mengirim atlet pada setiap edisi sejak partisipasi pertamanya pada 1992. Sebelum penyatuan Yaman pada 1990, para atlet Yaman berkompetisi di Pertandingan tersebut pada awal 1984, mewakili Yaman Utara (Republik Arab Yaman; 1984 dan 1988) atau Yaman Selatan (Republik Demokratik Rakyat Yaman; 1988). Yaman tak pernah memenangkan medali Olimpiade apapun.
Saat ini, Komite Olimpiade Yaman meminta untuk bergabung di Tim Olimpiade Pengungsi dan Tim Paralimpiade Pengungsi pasca pecahnya Perang Saudara Yaman sejak 2014 dan memohon Komite Olimpiade Nasional tuan rumah seperti Mesir, Yunani, Turki memberikan berbagai macam pelatihan kepada atlet Yaman di luar Yaman.[1]
