Село Ольховый Рог находится на левом берегу реки Берестовая, выше по течению примыкает к селу Каменка, ниже по течению на расстоянии в 1 км расположено село Абазовка (Зачепиловский район), на противоположном берегу — село Лебяжье (Зачепиловский район).
К селу примыкают лесные массивы.
Через село проходит автомобильная дорога Т-2119.