Він був магістратом, заступником лейтенанта та шерифом графства Фермана.
У 1864 році одружився з Алісою Софією, дочкою сера Алана Едвард Беллінгем, 3-го баронета. Подружжя мешкало на віллі у По, Франція. У них було щонайменше шестеро дітей. Наймолодшим був Алан — пізніше фельдмаршалвіконт Аланбрук.
Віктор Брук помер від пневмонії в По в листопаді 1891 року, у віці 48 років. Леді Брук померла у липні 1920 року.