Andy Razaf war der Großneffe der letzten Königin von Madagaskar, Ranavalona III., seine Mutter war die Tochter eines amerikanischen Konsuls. Diese war als 16-Jährige schwanger in die USA geflüchtet, als Madagaskar von den Franzosen als Kolonie besetzt wurde. Später zog die Familie nach New York City, wo Razaf als Fahrstuhlführer unterkam; nebenbei begann er Songtexte zu schreiben. Da sich zunächst niemand dafür interessierte, schrieb er Lyrik, die er in den Harlemer Zeitungen veröffentlichte. Schließlich lernte er in den 1920er Jahren den Pianisten Fats Waller kennen; er schrieb Texte zu dessen bedeutendsten Songs wie Love Will Find a Way und Keepin’ Out of Mischief Now, für Standards wie Memories of You (Musik von Eubie Blake) und gemeinsam mit Fats Waller die Titel Ain’t Misbehavin’ und Honeysuckle Rose, die inzwischen Jazzstandards sind. Weitere bekannte Songs waren That’s What I Like ’Bout the South und der spätere Glenn-Miller-Hit In the Mood, den Razaf für 200 US-Dollar verkaufte.
Im Jahr 1932 endete die Zusammenarbeit von Waller und Razaf; der Pianist konzentrierte sich nun mehr auf das Spielen als auf das Komponieren von Songs. Razaf setzte seine Songwriter-Tätigkeit bis zu seinem Tod 1973 fort. Er war viermal verheiratet.[1]