Танзания дебютировала на Олимпийских играх в 1964 году и с тех пор не пропустила ни одной летней Олимпиады, за исключением бойкотированных Игр в Монреале в 1976 году. На Играх 1964 года спортсмены Танзании представляли государство Танганьика, которое ещё не было объединено с Занзибаром. В зимних Олимпиадах сборная Танзании участия не принимала. Всего представители Танзании на Олимпийских играх завоевали две серебряные медали. Обе медали были завоёваны на Московской Олимпиаде в 1980 году в соревнованиях по лёгкой атлетике .
Национальный Олимпийский комитет Танзании образован в 1968 году, и признан МОК в том же году.