Джеймс Натаниэль Браун родился в семье домохозяйки Терезы и профессионального боксёра Свинтона Брауна[7]. Учась в старшей школе Манхассета, Браун получил предложения о спортивной стипендии от 13 университетов, которые предлагали ему выступать в футбольных, баскетбольных, бейсбольных, лакроссовых командах, а также в лёгкой атлетике[8]. В школе он установил рекорд Лонг-Айленда по результативности в одном матче, набрав за баскетбольную команду 38 очков. Этот рекорд позже был побит будущей звездой «Бостон Ред Сокс» Карлом Ястржемски[9].
Freeman, Mike. Jim Brown: The Fierce Life of an American Hero (англ.). — Harper Collins World, 2006. — P. 230.
Toback, James. Jim: The Author's Self-Centered Memoir on the Great Jim Brown (англ.). — DOUBLEDAY and COMPANY, INC. (1971) & Rat Press (Mar 3, 2009), 1971, 2009. — P. 230. (autobiography)
In 2002, film director Spike Lee released the film Jim Brown: All-American; a retrospective on Brown’s professional career and personal life.