Основано село в конце XVII века у новой водяной мельницы на реке Тихая Сосна. Входило в состав Острогожского уезда и принадлежало помещикам Тевяшовым. В 1808 году в селе на средства Тевяшовой была построена каменная церковь во имя Иоанна Ветхопещерника.
В 1900 году в селе Новая Мельница имелись два общественных здания, школа грамоты, пять ветряных мельниц, конная крупорушка, винная лавка.