Era figlio di lord George Cavendish, poi conte di Burlington, e di sua moglie Lady Elizabeth Compton, figlia di Charles Compton, VII conte di Northampton.
William morì prima del padre, nel 1812. Suo figlio William succedette al nonno e divenne VII duca di Devonshire.
Matrimonio e discendenza
Il 18 luglio 1807 sposò Louisa O'Callaghan, figlia di Cornelio O'Callaghan, I barone di Lismore. Ebbero quattro figli:
Lady Fanny Cavendish (? - 1885), sposò Frederick John Howard ed ebbe figli;