Une version non publiée de la mélodie avec différentes paroles est écrite et interprétée en 1933 par Borney Bergantine, du groupe The Happiness Boys, avec un premier enregistrement connu par les Marlin Sisters en . La version la plus connue, avec les paroles de Betty Peterson Blasco, est publiée avec succès pour la première fois en 1948 et donne lieu à de nombreuses reprises, entre autres par Elvis Presley, Connie Francis, The Pied Pipers, Ella Fitzgerald, Andy Williams (1959), The Andrews Sisters (1964), Frank Sinatra…
Le Elvis Presley, alors âgé de 18 ans, réalise son premier enregistrement direct sur disque microsillon amateur, pour quatre dollars, avec deux reprises sur un 45 tours de chansons à succès de l'époque : My Happiness sur la face A et That's When Your Heartaches Begin sur la face B. L'enregistrement se déroule au célèbre Sun Studio Records de Memphis (spécialisé dans la musique noire) de Sun Records de Sam Phillips et Marion Keisker. Elvis Presley offre le disque à sa mère pour son anniversaire : « Je me souviens et je rêve de ton tendre baiser, Que le ciel soit gris ou bleu, N'importe quel endroit sur terre fera l'affaire, Tant que je suis avec toi, Mon bonheur… ». Cet enregistrement unique de la légende du King est acheté en pour près de trois cent mille dollars par le producteur et musicien américain Jack White, qui le réédite sous forme de disque 45 tourscollector à tirage très limité.
