La mère de Joe Comfort est originaire du Mississippi et a joué de l'orgue pour des films muets en noir et blanc. Son père, George Comfort, originaire de Natchez, était professeur de musique à l'Université d'État Alcorn. Son frère aîné, Joe George, est également chanteur, professeur de musique et acteur et a joué avec Dorothy Dandridge dans Porgy and Bess.
Né à Los Angeles, Joe Comfort grandit à Watts, un quartier du sud de Los Angeles, et apprend le trombone avec son père. Il commence sa carrière musicale avec les Woodman Brother qui, comme lui, sont de Watts[1].
Dans les années 1940, il joue de la contrebasse dans le groupe de Lionel Hampton[2]. Sideman (1941) du film L'amour vient en dansant avec Fred Astaire[3], il est en vedette sur March Milastaire (A-Stairable Rag), une chanson de Cole Porter qui contraste le rythme de la marche et du jazz[4]. Mobilisé lors de la Seconde Guerre mondiale, il s'entraîne comme sergent à Fort Rucker en Alabama avant de servir en France[5]. À son retour, il travaille avec Nat King Cole qu'il accompagne lors de nombreuses tournées à travers les États-Unis et l'Europe. Il figure sur de nombreux enregistrements, y compris le tube emblématique de Nat King Cole, Nature Boy[6]. Séparément, il travaille aussi avec le guitariste de Cole, Oscar Moore[7]. À partir des années 1950, il devient musicien de studio et enregistre des bandes sonores et de la musique pop avec Nelson Riddle, Frank Sinatra et Ella Fitzgerald[8].
Comfort a joué dans de nombreuses boîtes de nuit à Los Angeles où il finit sa vie.
