Il est le fils aîné d'Octave de Ségur (1779-1818) et de Marie-Félicité-Henriette d'Aguesseau (1777-1847), le petit-fils de Louis-Philippe, marquis de Ségur, l'arrière-petit-fils de Philippe Henri de Ségur, ministre de la Guerre de Louis XVI (celui-ci étant le petit-fils du Régent par sa mère, Angélique de Froissy). Il est issu d'une famille de la noblesse d'épée qui a perdu de son prestige à la suite de la longue disparition et du suicide d'Octave de Ségur, son père, un an avant qu'il se marie : ces événements sont relatés assez longuement dans les Mémoires de la Comtesse de Ségur[2].
En 1819, il épouse Sophie Rostopchine, issue d'une grande famille de l'aristocratie russe, et fille de Fiodor Rostopchine, gouverneur de Moscou en 1812. De leur mariage, par ailleurs pas très heureux, naîtront huit enfants.
Le , Eugène de Ségur est admis à siéger à la Chambre des pairs, en remplacement de son grand-père décédé.
Il prend place dans la majorité conservatrice, soutient constamment le pouvoir de ses votes, et rentre dans la vie privée lors de la Révolution de 1848.
Surnommé le « Bel Eugène », ses multiples infidélités poussent sa femme à se réfugier dans son château des Nouettes, où elle se consacre à ses enfants et petits-enfants et à la littérature[3].
Antoine Henry Renaud (° 15 décembre 1821 - Paris † 17 février 1822) ;
Anatole Henry Philippe (° 23 avril 1823 - Paris † 9 mai 1902 - Paris), marquis de Ségur, littérateur, conseiller d'État, préfet de la Haute-Marne, maire d'Aube (Orne) (1865-1872), marié, le 25 août 1851 à Paris, avec Cécile Cuvelier (1830-1885), dont :
Gaston Henri Victor (° 6 août 1878 - Poissy † 7 avril 1918 - Paris), marié le 20 octobre 1902 avec Alix Solange Victurnienne de Rochechouart de Mortemart (1880-1917), divorcés ;
Henri Marie Joseph (° 19 septembre 1855 - Paris † 12 octobre 1936 - Essigny-le-Grand),
Marie-Thérèse Françoise Amélie (° 27 août 1859 - Paris † 11 mars 1933 - Le Chesnay), mariée, le 29 octobre 1883 à Paris (divorcés), avec Albert Maloteau, comte de Guerne ;
Philippe Marie Antoine Manuel, marquis de Ségur-Lamoignon (° 14 septembre 1888 - Paris † 4 septembre 1937 - Neuilly-sur-Seine), marié, le 26 janvier 1925 à Paris, avec Elisabeth Marie Joséphine Barrachin (née en 1897), dont :
Marie-Josèphe Françoise Juliette Mathilde de Ségur-Lamoignon (27 août 1866, Versailles - 1949), mariée, le 25 juillet 1885, à Méry-sur-Oise, avec Jean Marie Amelot, comte de La Roussilhe ;
Antoinette Nathalie Sophie (° 1er mai 1827 † 12 mai 1910 - Toulouse), dame du palais de l'impératrice Eugénie (décret impérial du 25 janvier 1853 - 1860), mariée, le 16 novembre 1846 à Paris, avec Paul Martin d'Ayguesvives, baron de Malaret (1820-1886), dont postérité ;
Alberte Olga (° 1er octobre 1835 - Aube (Orne) † 15 janvier 1920 - Caudebec), mariée, le 10 mai 1856, avec Emile de Simard de Pitray (1822-1888), dont postérité.