Ґрафтон є сином Джеймса Олівера Чарльза Фіцроя, графа Юстона (1947–2009) і його дружини, леді Клер Амабель Марґарет Керр, однієї з дочок 12-го маркіза Лотіанського[4][3].
Його предок Генрі Фіцрой, 1-й герцог Ґрафтон (1663–1690), був побічним сином короля Карла II від його коханки Барбари Вільєрс[5]. ґрафтон поділяє прізвище Фіцрой (що означає «син короля») з іншими родовими лініями, що походять від Карла II[6].
У 2007 році він переїхав до Лондона, а в 2009 році, через смерть свого батька, повернувся до Саффолка, щоб допомогти керувати 10,000-акра (0,04047 км2) маєтком Юстон-Голл. Він також отримав титул графа Юстона, але вирішив залишитися віконтом Іпсвіча[2].
7 квітня 2011 року 11-й герцог Ґрафтон помер у віці 92 років [9], і його онук, нинішній герцог, успадкував титул перства та маєтки. Наразі він займається живою музикою, модернізуючи ферми маєтку[2].
Шлюб і нащадки
14 серпня 2010 року в Сновсгіллі, графство Глостершир, лорд Іпсвіч, як його ще називали, одружився з Олівією Маргарет Слейден. Вони є батьками двох синів і однієї дочки:
Альфред Джеймс Чарльз Фіцрой, граф Юстон, спадкоємець, народився 26 грудня 2012[10]
Леді Розетта Крістіна Клер Фіцрой, народилася 20 липня 2015 року
Лорд Рейф Саймон Леннокс Фіцрой, народився 16 березня 2017 року