William Byrd III avait la réputation d'être parieur. Il a lancé ce qui semble être la première course de chevaux majeure dans le nouveau monde.
Il eut cinq enfants de sa première femme Eliza Carter (1748-1760), puis déménagea à Annapolis, capitale du Maryland. Il est ensuite père de dix autres enfants (dont Charles Willing Byrd) de sa seconde épouse Mary Willing(en), fille de Charles Willing. Après avoir dilapidé sa fortune dans le jeu et les mauvais investissements, Byrd III se sépare du domaine familial en 1768.