Герберт Дэвид Росс родился в 1927 году, в Бруклине, Нью-Йорк, в семье Луиса Честера и Марты Росс (Грюндфаст)[4]. Его родители были русско-еврейские иммигрантами[5]. Когда Россу было девять лет, его мать умерла, а отец перевёз семью в Майами и открыл закусочную[6]. Был женат на балерине Норе Кей (с 1959 года до её смерти в 1987 году) и светской львице Ли Радзивилл (с 1988 по 1999 год)[7].