Le comte est décédé à Marylebone, à l'âge de 77 ans. Il épouse Penelope Anne Cooke (1770-1826) et a deux fils et huit filles. Son titre et ses biens sont passés à son fils James Thomas Brudenell, qui dirige la Charge de la brigade légère en tant que lieutenant général. Leur fille Emma épouse David Pennant (1796-1835) en 1827[3].
Famille
Le 8 mars 1794, Brudenell est marié à Penelope Anne (née Cooke) (1770-1826), la deuxième fille de George John Cooke de Harefield Park et Penelope Bowyer (fille unique de William Bowyer, 3e baronnet). Ensemble, ils ont deux fils et huit filles, dont :
James Thomas Brudenell 7e comte de Cardigan (1797-1868), qui succède à son père. Il est surtout connu pour avoir dirigé la charge de la brigade légère en tant que lieutenant général.
Augusta (d. 1853), qui épouse le major Henry Bingham Baring (1804-1869), le fils de Henry Baring et sa première épouse Maria Matilda Bingham la fille de l'homme d'État américain William Bingham .
Anne (1809-1877), qui épouse George Bingham, 3e comte de Lucan en 1829. Lord Lucan est le commandant de la division de cavalerie qui donne à son frère James' Light Brigade l'ordre de charger.