Il choisit la cavalerie et devint sous-lieutenant au 4e hussards, régiment dans lequel il sert pendant la guerre de 1870.
Après la défaite, son oncle, le général Auguste de Gramont (1820-1877), duc de Lesparre, refuse de l'introduire au Jockey Club comme fils du ministre des Affaires étrangères à qui l'on imputait la guerre de 1870.
A la mort de son père, en 1880, il devient le 11educ de Gramont et quitte alors l'armée.
il réside alors au château de Mangé, à Verneil le Chétif (Sarthe), légué par son beau-père, le prince de Beauvau, à sa petite-fille, Elisabeth[1].
Il épouse à Paris 8e les 20 et 21 avril 1874 Isabelle de Beauvau-Craon (Paris, 13 novembre 1852 - Nancy, 27 avril 1875), que sa prestance lui conquit en dépit de l'hostilité du Faubourg Saint Germain, fille du prince Marc de Beauvau-Craon (1816-1883) et de Marie d'Aubusson de La Feuillade, sa première épouse. Elle renonce pour lui à épouser le richissime comte de Gramont d'Aster. Tous deux vécurent séparés, le duc se trouvant en garnison à Melun tandis que la duchesse résidait chez ses parents à Nancy. Elle meurt de la fièvre puerpérale quelques jours après la naissance de leur fille unique ;
Il se remarie à Paris 8e les 9 et avec la baronne Marguerite de Rothschild (Frankfurt am Rhein, 19 septembre 1855 - Paris 8e, 25 juillet 1905), fille du baron Mayer Carl von Rothschild et de sa cousine, Louise von Rothschild. Issue de la branche dite "de Naples" (cf Famille Rothschild). Marguerite avait été déshéritée par son père pour s'être convertie en épousant un catholique, le comte de Liedekerke, mort peu après dans un accident de chasse, mais ce testament fut annulé après la mort de son père, en 1886. Ils eurent trois enfants.
Devenu veuf une seconde fois, il se remarie à Paris 8e les 31 juillet et 3 août 1907 avec la princesse Maria Ruspoli (Rome,18 mai 1888 - Aix en Provence, 6 août 1976), fille de don Luigi, prince Ruspoli, et de donna Clelia Balboni. Dont deux enfants.
du premier Mariage :
Antonia Corisande Élisabeth de Gramont, écrivain (Nancy, 23 avril 1875 - Paris, 6 décembre 1954), mariée à Paris le 3 juin 1896 (divorce en 1920) avec Philibert de Clermont Tonnerre, marquis, puis 8e duc de Clermont Tonnerre (1871-1940). Dont postérité ;
Corisande de Gramont (Chaumes, 8 août 1880 - Neuilly sur Seine, 5 mars 1977), mariée à Paris 8e les 1er et 2 juillet 1901 avec Hélie de Noailles, marquis de Noailles (1871-1932). dont postérité ;
Louis-René, comte de Gramont (Paris 8e, 10 janvier 1883 - Paris 7e, 17 février 1963), marié à Paris 8e les 2 et 3 août 1916 avec Antoinette de Rochechouart de Mortemart (1893-1972), dont postérité ;
Du troisième mariage :
Gabriel, comte de Gramont (Paris 8e, 2 juin 1908 - 10 avril 1943), marié en 1931 avec Marie-Hélène Negroponte (1910-1973) ; dont postérité, père de Sanche de Gramont ;
Gratien, comte de Gramont (Paris 8e, 30 avril 1909 - ).