L'origine du pavillon de Breteuil remonte au trianon construit par l'architecte Thomas Gobert pour Monsieur, duc d'Orléans, créateur du parc de Saint-Cloud. Le bâtiment fut inauguré par Louis XIV en . Néanmoins, une gravure de montre qu'à cette date, le bâtiment, encore asymétrique, n'était pas achevé. Il fut terminé au début des années et utilisé, à partir de cette date, comme pavillon de fêtes. Il surplombait une terrasse qui existe encore de nos jours et un terrain en pente raide descendant jusqu'à la fontaine de Vénus, créée en par André Le Nôtre au centre du « Grand Parterre » (ensemble aujourd'hui disparu).
En , un neveu de ce dernier, le baron de Breteuil, ministre de la Maison du Roi de Louis XVI, négocia avec succès le rachat par le roi du domaine de Saint-Cloud et, en remerciement, fut autorisé à établir sa résidence au pavillon du Mail, qui prit désormais le nom de « pavillon de Breteuil ».
Le pavillon d'Italie
Celui-ci fut confisqué comme bien national en . Lorsque le baron de Breteuil revint d'émigration en , il tenta, mais sans succès, d'en obtenir la restitution. Occupé par l'armée en , le pavillon avait été sérieusement endommagé. Napoléon Ier, qui fit de Saint-Cloud sa résidence favorite, le fit restaurer et transformer et lui donna l'aspect qu'il a conservé jusqu'aujourd'hui. Sous l'Empire, ce pavillon porta aussi le nom de « pavillon d'Italie ». Il accueillit en Jérôme Bonaparte, roi de Westphalie, et son épouse Catherine de Wurtemberg puis, en , Caroline Murat, reine consort de Naples et, en , Louis Bonaparte, roi de Hollande et son jeune fils, le futur Napoléon III.
En , le pavillon fut transformé par l'architecte Le Père pour le comte d'Artois afin que ce dernier pût y prendre des douches. Il fut sérieusement endommagé par les Prussiens. Des travaux de restauration furent engagés en . Mais la destination finale du bâtiment fut l'objet de longues hésitations. Il fut mis à la disposition du garde des Sceaux, le comte de Serre (–), du vicomte d'Agoult, récemment nommé gouverneur du château de Saint-Cloud (), du duc de Blacas d'Aulps, premier gentilhomme de la Chambre (–), de Maréchal, gouverneur provisoire du château (–), du duc de Castries, gouverneur du château de Meudon (), du comte de Montalivet, intendant de la liste civile (–).
Après la chute de la monarchie de Juillet en , le pavillon de Breteuil fut affecté au ministère des Travaux publics, qui tenta à plusieurs reprises de louer la propriété, décrite comme « une habitation de plaisance avec jardins et dépendances ». La princesse Mathilde le loua tous les étés de à .
Le Bureau international des poids et mesures
En , quelques mois avant la chute du Second Empire, Napoléon III avait donné son accord pour l'installation d'un observatoire d'astrophysique au pavillon de Breteuil. Celui-ci fut sérieusement endommagé par des obus français lors du siège de Paris. Il était en ruines en lorsque le gouvernement français, par la loi du [1], offrit gracieusement le site au Comité international des poids et mesures pour y installer le Bureau international des poids et mesures (BIPM), établi par la Convention du Mètre, signée à Paris le . Restauré, le bâtiment fut mis en service en et agrandi en .
Le scientifique suisse Pierre-Alfred Chappuis, fils du directeur adjoint de l'époque, y naquit le .
Contrairement à une idée répandue, le pavillon de Breteuil ne bénéficie pas de l’extraterritorialité mais seulement d’une immunité partielle[2],[3].