Selon une croyance, le château de Villiers (autrefois Villiers-le-Châtel) à Cerny, aurait appartenu à Alix de Champagne qui l'aurait réunit à la couronne de France par son mariage avec Louis VII en 1165. Selon certains auteurs rien ne permet d'accréditer cela, les faits démentent cette histoire et le château n'a pas une origine aussi reculée[1].
En 1894, au décès de Claude Georges de Selve (1815-1894), maire de Cerny (1851-1868) et conseiller général de Seine-et-Oise (1847-1868), mort sans postérité de son mariage en 1845 avec Marie Amelot de Chaillou (1828-1897), le château passa par héritage à son neveu à la 3e génération, Guy Dorlodot des Essarts (1897-1942), arrière petit-fils de Charles Dorlodot des Essarts et d'Alix de Selve.
Le , le château est cédé à la famille Herlicq qui le conservera jusqu’au .
On voit encore, dans le château, les prisons qu’y avait établies le célèbre confident du roi, Olivier Le Daim, et dans ses souterrains, une porte de cachot qui a conservé son guichet et ses énormes verrous.
Les plans du parc ont été exécutés selon la nouvelle méthode de Paul de Lavenne de Choulot, d'après la liste publiée en annexe de son livre L'Art des Jardins (1863).