De 1941 à 1942, il joue dans l'orchestre de Lionel Hampton. De 1943 à 1947, il est trompettiste dans le big band de Count Basie. De 1947 à 1952, il joue un temps avec Illinois Jacquet puis J.C. Heard. Il réintègre, les rangs de l'orchestre de Basie pour y rester jusqu'en 1961. En 1962, il participe à la tournée de Benny Goodman en Union soviétique. Il mène ensuite, de front, une carrière de musicien freelance à New York et d'enseignant. Il est un des fondateurs, et président en 1967, de l'association Jazz Interactions(en) qui se donne pour objectif de faire connaître le jazz dans les lycées et collèges. Souffrant de problèmes cardiaques, il meurt en 1992 à New York.
Surtout connu pour sa participation à l'orchestre de Basie, dont il fut un des solistes vedettes, Joe Newman a enregistré plusieurs disques sous son nom, la plupart du temps en petites formations, dont la musique est très influencée par celle du « Count ».
Discographie
En tant que leader
1954: Joe Newman and His Band (Vanguard)
1954: Joe Newman and the Boys in the Band (Storyville)
