Nato il 21 maggio 1890 a Perth Amboy, nel New Jersey, Harry Tierney cominciò a suonare da bambino, figlio di una pianista e di un suonatore di tromba.
Dopo un breve periodo a Londra dove si era recato per lavorare per un editore musicale, nel 1916 tornò negli Stati Uniti. Nei due decenni successivi, Tierney fu un compositore di successo. Spesso in collaborazione con il paroliere Joseph McCarthy, scrisse numerose canzoni per i musical di Broadway, tra cui alcuni spettacoli delle Ziegfeld Follies. La sua canzone Alice Blue Gown, nel musical Irene, è stata forse la sua canzone più famosa. Irene, che raggiunse il record di 620 repliche, diventò nel 1926 un film con Colleen Moore, rifatto poi nel 1940 e interpretato da Anna Neagle e Ray Milland.
Tierney scrisse insieme a McCarthy, le canzoni di Rio Rita e di altri musical che furono adattati per lo schermo.