В апреле 1854 года вновь определён на службу в гусарский полк ротмистром. При осаде Силистрии, Долгоруков был ординарцем при фельдмаршалеПаскевиче, затем адъютантом князя М. Д. Горчакова и участвовал в обороне Севастополя, сражаясь на 4-м бастионе. При выступлении из Севастополя Долгоруков получил опасное поручение сжечь мост, что и выполнил под сильным неприятельским обстрелом. В 1859 году выйдя в отставку, полковник Долгоруков посвятил себя общественной деятельности.
С 1856 года женат на графине Наталье Владимировне Орловой-Давыдовой (1833—1885), своей четвероюродной сестре, дочери графа Владимира Петровича Орлова-Давыдова[5], наследнице обширной усадьбы в центре Москвы. Княгиня была благотворительницей, построила в Рузе больницу и женское училище, возглавляла Московское дамское попечение о тюрьмах. В браке родились три сына:
Николай (1858—1899)[6], окончил историко-филологический факультет Московского университета, во время русско-турецкой войны служил санитаром, с 1888 по 1896 года был Новозыбковским уездным предводителем дворянства, после чего три года, вплоть до самой смерти, был черниговским губернским предводителем дворянства. Скончался от сыпного тифа. Его жена — Мария Павловна Долгорукова (урожд. Голицына, внучка князя П.А.Голицына; 1859–1914) так же, как и муж занималась благотворительностью и общественной деятельностью.
Дочь — Наталья Николаевна (1882—1912) замужем (с 1900 г.) за Георгием (Юрием) Федоровичем, бароном Мейендорфом (1873—1919, убит махновцами)[7][8], сыном Ф.Е.Мейендорфа.
Внуки: Николай Георгиевич Мейендорф (1901–1960), Ксения Георгиевна Мейендорф (Шидловская; 1902–1992), Мария Георгиевна Мейендорф (Курис; 1904–1978), Елена Георгиевна Мейендорф (1905–?)
Сын — Дмитрий Николаевич Долгоруков (1888–1955). После 1917 года — в Белой Армии. В эмиграции с 1920 года — в составе 2-го кавалерийского полка в Галлиполи[9]. Жена — Елена Алексеевна Крупецкая. После эмиграции Дмитрия Николаевича осталась в Советской России.
Сын — Владимир Николаевич Долгоруков (1893—1966, Москва), писатель (псевд. Владимиров)[10][11]. После Октябрьской революции остался жить в Советской России. Похоронен на кладбище Донского монастыря в Москве[12].
Павел (1866—1927), политический деятель, расстрелян как заложник среди 20 человек за убийство Войкова.
