En , les Frères des écoles chrétiennes ouvrirent un pensionnat au numéro 165 de la rue du Faubourg Saint-Martin, qu'ils déménagèrent le à Passy (à l'époque une commune aux abords de Paris), dans des locaux qu'ils avaient construits sur leur lot de terrains de l'ancien hôtel de Valentinois et peut-être des locaux de vestiges de l'hôtel qu'ils avaient préservés[1],[note 1], et qui se fit connaître sous le nom de « pensionnat des Frères des écoles chrétiennes à Passy ». Au cours des décennies qui suivirent, les Frères reconstruisirent certains des locaux et en agrandirent d'autres, à mesure du nombre croissant d'élèves, malgré une baisse de celui-ci pendant la révolution de 1848[6] ; le pensionnat vint à longer, si ce n'est depuis le jour de son ouverture à Passy, tout le segment de l'actuelle rue Raynouard reliant l'actuelle rue Singer à l'actuelle rue des Vignes.
Le , le pensionnat (qui avait alors plus de 700 élèves) fut visité par le ministre de l'Éducation, Victor Duruy, qui adressa aux Frères « ses compliments les plus flatteurs sur la tenue et la direction du pensionnat »[7]. Une autre visite ministérielle fut organisée le de la même année, « provoquée par la résistance que le projet de loi sur l'enseignement spécial[note 2] avait éprouvée au sein de la Commission parlementaire chargée de son examen. Pour en triompher, M. Duruy invita les membres de la Commission à l'accompagner à Passy : « Je désire, leur dit-il, vous montrer chez les Frères l'heureuse réalisation de mes projets »[7]. »
Une loi du ayant interdit aux congrégations religieuses d'enseigner plus longtemps, les Frères déplacèrent leur pensionnat à Froyennes, en Belgique, en 1905[9]. Ils vendirent approximativement les trois quarts de leurs bâtiments de Passy[10].[note 3]. L'avenue du Colonel-Bonnet fut ouverte sur ces terrains.
Une association de pères de famille investirent ceux qui ne furent pas vendus mais inutilisés afin de recréer une école, le « pensionnat de Passy », à laquelle l'archevêque Léon Adolphe Amette accorda une tutelle diocésaine en 1911[10] et qui devint par la suite Saint-Jean-de-Passy.
↑L'affirmation d'Auguste Doniol selon laquelle les Frères des écoles chrétiennes acquirent en juin 1837 « les deux pavillons » (supposément ceux donnant sur la rue Raynouard) et une partie des jardins de « M. Briant »[2] semble contredire celle d'Henri Bouchot, selon laquelle Briant possédait « le derrière des bâtiments » (vraisemblablement l'orangerie et les bâtiments adjacents) « et le potager avec une ouverture sur la rue Bois-le-Vent », tandis que « la plus grosse part, la maison à colonnades, les terrasses et le jardin » avaient été adjugés à l'« écrivain et homme politique, Claude Fulchiron, de Lyon »[3], et certaines affirmations selon lesquelles ces biens-ci passèrent en 1811, au moins en partie, à la fille du banquier Isaac-Louis Grivel, Anne-Marie, et furent vendus par son mari Charles Vernes aux Frères en 1836[4], une autre partie ayant été acquise par l'industriel David Singer, qui ouvrit une rue à son nom pas plus tard qu'en 1836[5].