Il secondo conte lasciò il titolo al figlio Henry Grey, anch'egli politico appartenente al partito Whig. Henry ricoprì sotto il governo di Lord John Russell l'ufficio di Segretario di Stato per la Guerra e le Colonie dal 1846 al 1852. Alla sua morte gli successe il nipote Albert Grey, figlio del generale Charles Grey, terzo figlio del secondo conte. ALbert fu Governatore generale del Canada tra il 1904 e il 1911. Suo figlio, Charles, il quinto conte, fu maggiore dell'esercito e morì senza figli maschi lasciando come erede suo cugino di secondo grado, Richard Grey. Richard, attuale titolare del titolo, risulta il pro-pro-nipote dell'ammiraglio George Grey, quarto figlio del secondo conte.