Les ancêtres de la famille font fortune dans la compagnie des Indes néerlandaises. Les frères ne descendent cependant pas du grand-pensionnaire de Hollande Jan de Witt[1]:199.
Les frères sont orphelins de père et mère en 1838. Ils passent alors avec leur sœur Elisabeth dite Betsi sous l'autorité de leurs tantes maternelles[1]:198.
A partir de 1846, Cornélis et Conrad fréquentent l'appartement du ministère des Affaires étrangèresboulevard des Capucines où résident les Guizot. Au retour de la famille au Val-Richer en juillet 1849 après leur exil à Londres à la suite de la révolution de 1848, les frères sont les premiers invités et se rapprochent des deux sœurs Henriette et Pauline. Cette dernière écrit dans son journal : en plein culte familial, début mars 1850, « mon père nous a donné sa bénédiction à toutes deux, sous le portrait de notre mère, en nous disant : ''elle serait bien heureuse aujourd'hui'' »[1]:198-199.
Le , Conrad de Witt épouse Henriette Guizot. Le 18 mai 1850, son frère Cornélis épouse Pauline, sœur d'Henriette.
Élisa Adélaïde, née le 31 mai 1851 et morte le 25[1]:207 ou 30 septembre de la même année[3]. Pour consoler les parents de la disparition de leur fille à seulement 4 mois, François Guizot leur offre un séjour à Rome, où ils sont rejoints par Guillaume après l'échec d'un projet de mariage[1]:207,
Jeanne Wilhelmine Henriette Catherine, née le 17 mars 1855 et morte le 27 octobre 1944. Le grand-père maternel de Jeanne, François Guizot, a une prédilection pour elle : « Elle m'aime de tout son coeur, et elle a en moi une confiance sans limites. [...] C'est curieux le degré de sympathie qui peut exister entre un homme de mon âge [70 ans] et une enfant de trois ans »[1]:200.
François Guizot écrit à Cornélis en 1852 : « J'ai été bien préoccupé de l'avenir de mes filles. J'étais très difficile et par conséquent très inquiet pour elles. Vous avez, votre frère et vous, réalisé mes rêves et dépassé mes espérances. Je trouve votre bonheur intérieur si complet et si bon que je ne demande pour vous rien de plus »[1]:199.
La tante de Conrad, Adélaïde Temminck, dite Alida, habite chez le jeune couple jusqu'à sa mort en 1868[1]:199. Conrad et Henriette exploitent le château du Val-Richer à partir de 1855 et ne le quittent plus jamais. Cornélis et Pauline y vivent également jusqu'en 1867, date à laquelle ils s'installent à Paris. L'été, les familles se retrouvent dans le domaine familial autour du patriache[1]:200.
Sa sœur Elisabeth, toujours célibataire à 28 ans, épouse le 4 mars 1854 Gaston Gaillard, fonctionnaire des Finances issu d'une bonne famille protestante du Gard[1]:199-200.
A la mort de sa belle-sœur Pauline le 28 février 1874 à Cannes de la tuberculose[1]:200, son épouse Henriette prend en charge les plus jeunes de ses neveux et nièces.