Der dritte Olympiastart 1936 in Berlin blieb Eleanor Holm versagt, nachdem sie vom damaligen Präsidenten des amerikanischen Olympischen Komitees, Avery Brundage, auf der neuntägigen Überfahrt von New York City nach Cherbourg aus dem Team ausgeschlossen worden war. Die gut aussehende und als überaus lebenslustig geltende Schwimmdiva hatte mit den Journalisten allabendlich ausschweifende Partys gefeiert. Sie wurde daraufhin von Associated Press engagiert, um vor Ort über die Olympischen Spiele zu berichten.[1]
Eleanor Holm war von 1933 bis 1938 mit dem Bandleader und Sänger Art Jarrett verheiratet. 1939 heiratete sie den Theaterproduzenten und Songtexter Billy Rose. Diese Ehe hielt bis 1954. Einige Monate später heiratete sie ein drittes Mal. Eleanor Holm starb im Alter von 90 Jahren an Nierenversagen.