Il est député de Banffshire de 1837 à 1857; son frère, George Skene Duff, est député d'Elgin Burghs. Il est créé baron Skene, de Skene, dans la pairie du Royaume-Uni, en 1857 à part entière. Cela lui permet de siéger et de voter à la Chambre des lords. Il est lord-lieutenant des comtés de Banff et Moray.
Alexina Duff (1851-1882), épouse Henry Coventry, troisième fils d'Henry Amilius Coventry.
Agnes Cecil Emmeline Duff (1852-), épouse George Hay-Drummond, fils de George Hay-Drummond (12e comte de Kinnoull), et se remarie avec Herbert Flower, puis en troisièmes noces avec Alfred Cooper. David Cameron, l'ancien Premier ministre britannique, est un descendant de ce troisième mariage.
Références
↑Oliver and Boyd's Edinburgh Almanac and National Repository, 1845