Sous les Carolingiens, le chancelier dirigeait les clercs et secrétaires du palais chargés de rédiger les actes officiels (diplômes, capitulaires). Cet office fut créé par Pépin le Bref, qui choisit en 757 Badilon. Les successeurs de Badilon étaient presque exclusivement des clercsfrancs, dont un bâtard et un petit-fils de Charlemagne puis, à partir du Xe siècle l'office échut systématiquement à l'archevêque de Reims.
Les fonctions de chancellerie consistent à mettre en forme d'acte rédigé les décisions royales. Elles sont assurées par des scribes (notarii ou cancellarii). À l'époque mérovingienne, il s'agissait d'un personnel laïque placé sous l'autorité des référendaires, dont l'un apposait le sceau authentifiant les actes. Sous les Carolingiens, le personnel devint ecclésiastique, car seuls les clercs religieux connaissaient la nouvelle langue légale, le latin. On les recrutait dans la chapelle du roi, et leur supérieur, le chapelain, devenait de facto le chancelier, chargé lui-même d'apposer le sceau[1].
À la mort du dernier chancelier carolingien, Adalbéron de Reims, le premier roi capétien, Hugues Capet, ne nomma plus de chancelier. Le chef de la chancellerie du royaume de France portera désormais le titre de chancelier de France. Avec l'avènement des Ottoniens en 962, la Francie orientale céda le pas au Saint-Empire romain germanique, qui devait en principe réunir sous une même autorité les trois royaumes de Germanie, d'Italie et de Bourgogne, mais la nouvelle fonction d’archichancelier, qui prenait le relais de la chancellerie carolingienne, ne se formalisa véritablement qu'avec l'évêque Willigis de Mayence : désormais, cette fonction allait échoir aux archevêques de Mayence.