Elle est le quatrième enfant et la deuxième fille de Barbara Palmer, fille de William Villiers (2e vicomte Grandison). Sa mère est alors séparée de Roger Palmer, mais encore mariée à lui. Charlotte et ses frères et sœurs sont les enfants illégitimes de l'amant de leur mère, Charles II. Le roi l'a reconnue comme sa fille, et elle porte le nom de Fitzroy - "fils du Roi".
Elle est la nièce préférée de Jacques, duc d'York, frère cadet de Charles II, qui règne plus tard en tant que roi Jacques II. "Nous savons peu d'elle, sauf qu'elle était belle;"[1] "elle rivalisait avec sa mère dans la beauté, mais était loin contrairement à elle, à tous autres égards."[2] Comme la duchesse de Cleveland était connue pour sa nature diabolique, cela veut dire que Charlotte était douce tempérée et agréable.
Mariage et descendance
Le 16 mai 1674, avant son dixième anniversaire, Charlotte est fiancée à Edward Lee, et ils se marient le 6 février 1677, dans sa treizième année. Lorsque Charles Stewart (3e duc de Richmond), meurt en 1673, Edward est créé comte de Lichfield.
Ensemble, ils ont dix-huit enfants:
Charlotte Lee, lady Baltimore (13 mars 1678 - 22 janvier 1721),
