Il est le quatrième et dernier fils de François-Marie de Broglie (1671-1745), maréchal de France et de Thérèse Gilette Locquet de Grandville, d’une famille de riches armateurs de Saint-Malo. Son frère aîné est le maréchal duc Victor-François de Broglie (1718-1804), chevalier des ordres du Roi, Prince du Saint Empire Germanique en 1759 et commandant en chef des trois évêchés de Metz, Toul et de Verdun en 1771. Son dernier frère, est Charles-François de Broglie (1719-1781), marquis de Ruffec, ambassadeur du Roi en Pologne en 1752 puis responsable du Secret du Roi[4].
Il est le neveu de Charles-Maurice de Broglie (1682-1766), dernier abbé du Mont-Saint-Michel, connu aussi sous le nom d'abbé de Broglie.
↑Armand Jean, Les évêques et les archevêques de France depuis 1682 jusqu'à 1801, Paris et Mamers, p. 328
↑ Le ministère Secret ou « Secret du Roi » était l’organe de la diplomatie secrète de Louis XV. Une notice est consacrée au Comte de Broglie dans l’ouvrage de M. Antoine le gouvernement et l’administration sous Louis XV : dictionnaire biographique, Paris, édition du centre de la Recherche Scientifique, 1978.