Шарлотта Фицрой была четвёртым незаконнорожденным ребёнком (и второй дочерью) короля Карла II от его любовницы Барбары Вильерс. После рождения ей как и её братьям была присвоена фамилия Фицрой (Fitzroy), что означало «дитя короля», поскольку была признана королём в качестве дочери.
16 мая 1674 года Шарлотта в возрасте 9 лет была помолвлена с 11-летним Эдвардом Ли (1663—1716), 1-м графом Личфилда (1674—1716). Свадьба состоялась 6 февраля 1677 года, когда ей было 13 лет, а жениху 14 лет. В честь свадьбы невеста получила приданое 18000 фунтов стерлингов, а её мужу была назначена пенсия в 2000 фунтов стерлингов год.
Супруги в браке прожили 39 лет и имели 18 детей, из которых 11 дожили до совершеннолетия:
Дост. Фрэнсис Генри Фицрой Ли (10 сентября 1692—1730);
Леди Элизабет Ли (26 мая 1693 — 29 января 1741) — 1-й муж : Фрэнсис Ли, у пары было 3 детей; 2-муж: поэт Эдуард Юнг (1683 — 5 апреля 1745), у пары был один сын;
Леди Барбара Ли (3 марта 1695 — ум. после 1729), была замужем за сэром Джорджем Брауном, 3-м баронетом Киддингтона;
Леди Мэри Изабелла Ли (6 сентября 1697 — 28 декабря 1697);