Habitué des clubs de Harlem, il participe un jour à une joute avec un débutant, Art Tatum. Jo (sans "e") lui joue son morceau de bravoure, Liza, puis Art Tatum le remplace au piano et c'est un feu d'artifice. Jo, beau joueur, présentera Art Tatum à Adelaïde Hall avec qui Art Tatum fera ses premiers enregistrements pour la marque Decca et la suit dans une tournée en Europe.
Il se lie avec Erroll Garner pendant la seconde guerre mondiale et remplacera d'ailleurs ce dernier quelques jours après sa mort en dans le club où il devait reprendre sa carrière.
Mobilisé, il joue du piano dans l’orchestre de l'armée américaine dirigé par Sy Oliver[4], ancien arrangeur du grand orchestre de Jimmie Lunceford.
Après la guerre, il joue avec la formation de Rex Stewart, avant de s’établir en Europe.
En 1962, il s’installe à Paris. On pouvait l’entendre depuis cette date dans un restaurant de l'avenue Pierre 1er de Serbie La Calavodos[5],[6] où, du soir jusqu’à l’aube, il jouait et chantait dans un style qui n’appartenait qu’à lui. Les photos le montrent souvent mâchonnant un énorme cigare mais il confessait volontiers que c'était pour la galerie.