Il fait ses études à Christ Church, Oxford et obtient une maîtrise ès arts en 1757. Il est ordonné cette année-là et nommé recteur de Leigh, Kent. En 1759, il est nommé recteur de Blithfield.
Il hérite de Pype Hayes Hall, qui appartient à la famille Bagot depuis 1630, à la mort d'un cousin.
Il se marie deux fois :
En 1773 à Anne Swinnerton dont il a sept enfants, dont son fils aîné et héritier, Egerton Bagot, et ses filles, Elizabeth (décédée le 5 mars 1859), qui épouse Joseph Phillimore, député, et Louisa-Frances, qui épouse le révérend Richard Levett de Milford Hall, Staffordshire[1] également diplômé d'Oxford et ministre.
Puis à Mary Ward dont il a encore huit enfants, dont une fille, Jane Margaret, qui épouse le juge anglais Edward Vaughan Williams[2] en 1826. Ils sont les grands-parents du compositeur Ralph Vaughan Williams.
