Олни был основан в 1879 году Буном Маккарти (Boone McCarty), Л. Пэнкононом (L. Pankonon) и братьями Нили (Neely). Первый магазин открылся в 1889 году, два года спустя заработала первая школа. В 1908 была открыта первая больница на 25 койко-мест, в которой постоянно работали 3 врача[2]. Олни получил статус города (incorporated city) в 1909 году после открытия железнодорожной ветки, которая прекратила функционировать в 1942 году. В 1923 году в окрестностях города была разведана нефть, и город испытал экономический подъём: были построены три нефтеперерабатывающих завода, резко увеличилась численность населения. В 1951 году над городом пронёсся разрушительный торнадо: 2 человека погибли, 75 были ранены, ущерб был оценён в два миллиона долларов. С 1972 в городе ежегодно проводится двухдневный конкурс для одноруких стрелков (англ.One-Arm Dove Hunt)[3].
Площадь города составляет 5,25 км², открытых водных пространств практически нет.