Sie wurde 1953 in Kinshasa aus mehreren Sessionmusikern des Aufnahmestudios Opika gegründet.[2][3] Vermutlich war sie auch die erste professionelle Vollzeitmusikgruppe des Kongo.[4] Den Begriff Jazz trug das Orchester nicht, weil sie Jazzmusik spielte, sondern um zu zeigen, dass die Musik modern, kultiviert und unterhaltend war.[5] Die Gruppe konzentrierte sich stattdessen auf Rumba, Samba und Cha-Cha-Cha in einem unverwechselbar kongolesischen Stil.[6]
Ab 1955 veröffentlichte African Jazz auf dem Musikverlag Esengo.[5]
Bei dem ersten „Runden Tisch“ vom 20. Januar bis 20. Februar 1960, bei dem zwischen belgischen und kongolesischen Vertretern der 30. Juni 1960 als Tag der Unabhängigkeit des Kongo ausgehandelt wurde, war African Jazz als Unterhaltungsband anwesend. Während der Konferenz entstand der Song Independance Cha Cha, der von den Freuden der Unabhängigkeit handelt und zu einem ihrer größten Hits wurde.[7]
1961 ging die Band auf eine ausgedehnte Tour in Afrika. Dabei besuchte sie Ghana, Nigeria, die Elfenbeinküste, Sierra Leone und Guinea und übte einen bedeutenden Einfluss auf die dortige Musikszene aus.[6]