Stamvader Jaques le Gay vestigde zich in of rond 1640 vanuit de Franstalige Vlaamse stad Dowaai in Leiden. Dowaai ligt tegenwoordig in Frankrijk en wordt daar en in Nederland Douai genoemd. Jaques le Gay was een protestant, waarschijnlijk een uit Frankrijk afkomstige hugenoot. Ds. Klaas de Gaay (1778-1821), een van zijn nazaten, voegde de naam van zijn stiefvader Pieter Fortman bij de zijne en werd stamvader van de familie De Gaay Fortman. In de 20e en 21e eeuw ging de geslachtsnaam ook over via de vrouwelijke lijn.
Jacobus de Gaay (1745-1781), timmerman; trouwde in 1768 met Neeltje Klinkspaan (1741-1814) die als weduwe hertrouwde in 1783 met Pieter Jacobsz. Fortman
ds. Klaas de Gaay (Nikolaas de Gaay Fortman) (1778-1821), predikant
Hendrika Wilhelmina de Gaay Fortman (1809-1880); trouwde in 1840 met Frederik Hendrik Hendriks (1808-1880), kunstschilder
ds. Pieter Leonard de Gaay Fortman (1817-1876), predikant
ds. Nicolaas Adriaan de Gaay Fortman (1845-1927), predikant, ridder in de Orde van Oranje-Nassau
Eugenia Maria Frederika de Gaay Fortman (1874-1901); trouwde in 1899 met prof. dr. Leonard Emilius Goester (1872-1934), hoogleraar Pharmacographie en Receptuur Universiteit te Leiden
prof. mr. dr. Wilhelm Friedrich de Gaay Fortman (1911-1997), hoogleraar in de rechten, rector magnificus van de Vrije Universiteit en minister van Binnenlandse Zaken; trouwde in 1936 met Margaretha Titia Hillegonda Woltjer (1913-2008), dochter van prof. dr. Robert Herman Woltjer (1878-1955), hoogleraar aan de Vrije Universiteit en lid Eerste Kamer der Staten-Generaal
drs. Betteke de Gaay Fortman (1963), directeur ngo
Olivier de Gaay Fortman BBA, BPA, MA (1992), Ph.D.-student aan de ENS te Parijs; schreef met zijn grootvader De grondwetwijzer
mr. Marry de Gaay Fortman (1965), advocaat en commissaris van grote bedrijven, publiciste
Maria Margaretha (Marian) de Gaay Fortman (1939), trouwde in 1963 met prof. dr. Tom Voûte (1936-2008), kinderarts en hoogleraar kinderoncologie aan de Universiteit van Amsterdam
Elisabeth Jette Catharina de Gaay Fortman (1944), oud-maatschappelijk werker; trouwde in 1970 met mr. Bernard Holtrop (1943-1993), burgemeester