Harpers kindertijd werd sterk beïnvloed door de African Methodist Episcopal Church en haar muziek. Toen hij veertien was richtte hij als leerling van de Evan E. Worthing High School zijn eerste jazzgroep op, een kwintet. Hij studeerde van 1961 tot 1965 jazz aan North Texas State University en ging daarna naar New York. Hier werd hij al snel opgemerkt door jazzreuzen als Max Roach, Thad Jones, Mel Lewis en Lee Morgan. In 1967 nam Gil Evans hem aan voor zijn bigband en hij werkte hierin mee aan onder andere het album Svengali. Art Blakey rekruteerde hem als lid van diens Jazz Messengers.
Met deze groepen en zijn eigen kwintet (waarmee hij muziek in de traditie van John Coltrane speelde) reisde hij door Amerika, Europa, Japan en Afrika. In 1976 kwam zijn grote internationale doorbraak met de plaat Black Saint, een album dat door de Modern Jazz League of Tokyo tot Jazz Record of the Year - Voice Grand Prix werd uitgeroepen.