Ha iniziato a suonare la tromba all'età di otto anni, debuttando professionalmente a 13 anni. Ha inciso con Bill Evans, Phil Woods, Dizzy Gillespie, Lee Konitz e altri giganti del jazz. Per gran parte degli anni ottanta ha suonato in tour con Woods.
Nel 1989 ha cominciato ad esibirsi con un suo gruppo personale denominato "Tom Harrell Quintet", che ha registrato per numerose e prestigiose etichette tra cui RCA Records e HighNote Records.
Nel 2012 ha debuttato con un ensemble di nove elementi, il "Tom Harrell Chamber Ensemble".