1935 erbte er beim Tod seines Vaters dessen Adelstitel als 9. Duke of Richmond, 9. Duke of Lennox, 4. Duke of Gordon und 9. Duc d’Aubigny und wurde dadurch Mitglied des House of Lords. Aufgrund der Erbschaftssteuer sah er sich in der Folgezeit gezwungen Gordon Castle und die weiteren Besitzungen der Familie in Schottland zu verkaufen.
Nach dem Krieg begann er auf seinem Anwesen mit dem Bau einer Motorrennstrecke; der Goodwood Circuit wurde aber 1966 größtenteils wieder außer Betrieb genommen, da er nicht für die zwischenzeitlich deutlich gestiegenen Geschwindigkeiten der Fahrzeuge ausgelegt und die Sicherheit von Fahrern und Zuschauern nicht mehr ausreichend gewährleistet war. Heute findet dort das Goodwood Festival of Speed statt. Gordon-Lennox war der am längsten im Amt befindliche Vizepräsident des Royal Automobile Club.
Er heiratete 1927 Elizabeth Grace Hudson († 1992), Tochter des Rev. Thomas William Hudson, Vikar von Wendover in Buckinghamshire, mit der er zwei Söhne hatte: