In Toledo (Ohio) war Jon Hendricks die ersten Male in öffentlichen Radiosendungen als Sänger zu hören. Dort sang er in den 1940er Jahren auch mit dem berühmten Jazzpianisten Art Tatum als Begleiter. In Toledo studierte er am College Literatur und anschließend Jura. Ein kurzes Treffen mit Charlie Parker, der ihn ermutigte weiter als Jazzsänger zu arbeiten, veranlasste Hendricks, seine musikalischen Pläne professionell zu verwirklichen. 1955 entwickelte er in New York mit Dave Lambert eine Gesangsvariante von Woody Hermans bekannter „Four Brother“ Saxophon-Formation und gründete mit Annie Ross das Gesangstrio Lambert, Hendricks & Ross und wird dessen Texter. In den folgenden sechs Jahren nahm das Trio neben seinen weiten Tourneen jede Menge Jazzstücke auf, wobei sie Instrumentalimprovisationen anderer Jazzmusiker und dreistimmige Chorusse mit Texten unterlegt nachsingen. Das Album Sing a Song of Basie von 1957, das aus dem Plan entstand, die Bläsersätze von Stücken der Count Basie Bigband von Sängern singen zu lassen, wurde ein großer Erfolg. Da Hendricks und Lambert (zusammen mit der als Gesangs-Coach arbeitenden Annie Ross) keine passenden Sänger fanden, versuchten sie es selbst – die Geburtsstunde ihres Trios, das von 1958 bis 1964 bestand. Annie Ross schied 1962 aus Gesundheitsgründen aus und wurde durch Yolande Bavan ersetzt.
Anschließend sang Hendricks als Solist, bis er 1968 mit seiner neu gegründeten Gruppe „Jon Hendricks and Company“, zu der nun neben Annie Ross auch Georgie Fame gehörte, in Europa und Afrika auftrat. Hendricks wohnte von 1968 bis 1973 in London und war oft als Gast im britischen Fernsehen zu sehen. Er spielte in dem britischen Film Jazz is our Religion sowie in dem französischen Film Hommage à Cole Porter (Cole Porter).
Der New Grove Dictionary of Jazz schrieb über Hendricks: „Er ist ein so guter Scat-Sänger und so erfahren im Imitieren von instrumentalischen Sounds, dass er mit seinen Gesangsimprovisationen die gespielten Solos seiner Mitstreiter übertrifft.“
Sein Scat-Gesang ist auch Teil des einzigen gesungenen Monk-Titels, der je auf einem von Monks eigenen Alben erschienen ist. Dies ist allerdings nur einem Zufall zu verdanken; denn Hendricks war bei der Studioaufnahme zufällig anwesend – und Monk bestand darauf, dass er es mit aufnahm. Leider war Hendricks an diesem Tag stimmlich nicht optimal disponiert; trotzdem war diese Aufnahme der Popularität Monks durchaus zuträglich.