Raggiunse popolarità nel anni venti, con la sua Montmartre Orchestra. Fu molto attivo come cantautore, pubblicando ben 200 canzoni, tra cui Whispering (1920), Avalon (1921, con testo scritto da Al Jolson e B.G. DeSylva), Linger Awhile (1923) e Blueberry Hill (1940)
In particolare Avalon fu motivo di una causa interessante. Infatti, l'anno successivo alla pubblicazione del brano l'editore delle opere di Giacomo Puccini, Ricordi, accusò Rose e Jolson di aver plagiato la canzone da E lucevan le stelle, aria della Tosca. Puccini e la casa editrice vinsero la causa e gli furono assegnati 25 000 dollari per danno e tutti i futuri diritti d'autore.