Langage formel

Structure de la phrase Colorless green ideas sleep furiously qui est syntaxiquement bien formée, mais n'a pas de sens (exemple historique de Noam Chomsky, 1957).

Un langage formel, en mathématiques, en informatique et en linguistique, est un ensemble de mots[1]. L'alphabet d'un langage formel est l'ensemble des symboles, lettres ou lexèmes qui servent à construire les mots du langage ; souvent, on suppose que cet alphabet est fini. La théorie des langages formels a pour objectif de décrire les langages formels.

Les mots sont des suites d'éléments de cet alphabet ; les mots qui appartiennent à un langage formel particulier sont parfois appelés mots bien formés ou formules bien formées. Un langage formel est souvent défini par une grammaire formelle, telle que les grammaires algébriques et analysé par des automates.

Objectifs

La théorie des langages formels étudie les aspects purement syntaxiques de tels langages, c'est-à-dire leur structure interne formelle. La théorie des langues est issue de la linguistique, comme moyen de comprendre les régularités syntaxiques de langues naturelles :

• En informatique, les langages formels sont souvent utilisés comme base pour la définition des langages de programmation et d'autres systèmes ; les mots d'un langage comportent alors aussi un sens, une sémantique.
• En théorie de la complexité des algorithmes, les problèmes de décision sont généralement définis comme des langages formels, et les classes de complexité sont définies comme les ensembles de langages formels qui peuvent être analysés par des machines ayant des ressources de calcul limitées.
• En logique mathématique, les langages formels sont utilisés pour représenter la syntaxe des systèmes axiomatiques, et l'attitude formaliste en mathématique ou logicisme affirme qu'en principe, les mathématiques peuvent se ramener à la manipulation syntaxique de langages formels.

L'étude des langages formels comporte l'ensemble des moyens de description et d'analyse de ces langages, comme les grammaires formelles pour la génération et les automates pour la reconnaissance, mais elle s'intéresse aussi à l'apprentissage automatique et la traduction automatique des langages. Dans le domaine de la traduction, la théorie des langages s'applique aux compilateurs de langages de programmation.

Mots et langages

Définitions

On se donne un ensemble ${\displaystyle A}$, appelé alphabet dont les éléments sont appelés des lettres.

• Un mot de longueur k est une suite ${\displaystyle u=(a_{1},a_{2},...,a_{k})}$ de k lettres. En pratique, on utilise la notation condensée ${\displaystyle u=a_{1}a_{2}\cdots a_{k}}$.
• L'ensemble des mots sur l'alphabet ${\displaystyle A}$ est noté ${\displaystyle A^{*}}$.
• Le mot vide, de longueur ${\displaystyle 0}$, est noté ${\displaystyle 1}$, ou parfois ${\displaystyle \varepsilon }$ (ou encore ${\displaystyle \Lambda }$ pour le distinguer des ${\displaystyle \varepsilon }$-transitions dans les automates finis).
• On définit sur ${\displaystyle A^{*}}$, une loi de composition interne appelée concaténation. Elle associe à deux mots ${\displaystyle a_{1}\cdots a_{n}}$ et ${\displaystyle b_{1}\cdots b_{m}}$ le mot ${\displaystyle a_{1}\cdots a_{n}b_{1}\cdots b_{m}}$ (de longueur ${\displaystyle n+m}$).

Cette loi de composition interne est associative et admet le mot vide pour élément neutre (ce qui justifie la notation ${\displaystyle 1}$). Par conséquent l'ensemble ${\displaystyle A^{*}}$, muni de cette loi, est un monoïde. C'est un monoïde libre au sens de l'algèbre.

Un langage formel est un ensemble de mots sur un alphabet fini, c'est-à-dire une partie du monoïde libre sur cet alphabet.

Exemples

Quelques exemples de langages formels :

• l'ensemble de tous les mots sur ${\displaystyle \{a,b\}}$,
• l'ensemble des mots de la forme ${\displaystyle a^{n}}$, où ${\displaystyle n}$ est un nombre premier,
• l'ensemble des programmes syntaxiquement corrects dans un langage de programmation donné,
• l'ensemble des mots d'entrée sur lesquels une machine de Turing donnée s'arrête,
• l'ensemble des 1000 mots les plus fréquents dans une langue donnée.

Construction d'un langage formel

Un langage formel peut être spécifié par différents moyens. Ce qui est recherché, c'est une méthode ou un mécanisme fini, et explicite, qui permet de produire ou d'analyser un langage en général infini. Parmi ces méthodes, il y a :

• les grammaires formelles. Les mots sont produits par des règles, en nombre fini, qui s'appliquent dans des conditions précises. On obtient une classification de langages appelée hiérarchie de Chomsky ;
• les expressions rationnelles. Les mots sont décrits selon un symbolisme qui permet de décrire des successions, des répétitions, des alternatives. C'est un moyen très répandu pour la recherche de mots dans des textes ;
• les automates. Ce sont des machines mathématiques qui reconnaissent une certaine catégorie de mots. Parmi eux, il y a les systèmes de transitions d'états, les machines de Turing ou les automates finis ;
• l'ensemble des instances d'un problème de décision dont la réponse est OUI ;
• divers systèmes logiques de description à l'aide de formules logiques.
• des systèmes de réécriture. Une famille particulière est formée des langages congruentiels.

Appartenance, calculabilité et complexité

Des questions typiques que l'on se pose à propos d'un langage formel sont les suivantes :

• Peut-on décider par algorithme si un mot donné appartient à ce langage ?
• Si oui, quelle est la complexité algorithmique d'une telle réponse ?

Ces questions ont des liens avec la calculabilité et de la théorie de la complexité.

Familles de langages

Les langages sont regroupés en familles de langages. La Hiérarchie de Chomsky nous donne quatre types de grammaire, chaque type de grammaire générant une famille de langage.

• Les grammaires de type 0 génèrent la famille des langages récursivement énumérables. Ce sont exactement les langages reconnaissables par une machine de Turing.
• Les grammaires de type 1 génèrent la famille des langages contextuels. Ce sont exactement les langages reconnaissables par les automates linéairement bornés.
• Les grammaires de type 2 génèrent la famille des langages algébriques. Ce sont les langages reconnaissables par les automates à pile.
• Les grammaires de type 3 génèrent la famille des langages rationnels. Ce sont les langages reconnaissables par les automates finis.

Ces ensembles de langages sont tous inclus les uns dans les autres et sont ici donnés de l'ensemble le plus grand au plus petit. Donc, tout langage rationnel est algébrique, qui est lui-même contextuel, qui est lui-même récursivement énumérable.

Entre ces 4 familles de langages, on peut noter des familles qui ne font pas partie de la hiérarchie de Chomsky, mais qui restent remarquables par leurs définitions et leurs propriétés.

Les langages algébriques déterministes sont les langages reconnaissables par les automates à pile déterministes, et sont donc strictement inclus dans la famille des langages algébriques.

Les langages récursifs sont les langages reconnus par une machine de Turing, et dont le complémentaire est aussi reconnu par une machine de Turing. Ils sont donc strictement inclus dans les langages récursivement énumérables.

Opérations sur les langages formels

Plusieurs opérations peuvent être utilisées pour fabriquer de nouveaux langages à partir de langages donnés. Supposons que L et M soient des langages sur un certain alphabet commun.

Opérations ensemblistes

Les opérations ensemblistes intersection, union et complémentation sont définies comme pour tout ensemble.

Concaténation ou produit

La concaténation de ${\displaystyle L}$ et de ${\displaystyle M}$, notée simplement ${\displaystyle LM}$ est l'ensemble des mots de la forme ${\displaystyle xy}$ où ${\displaystyle x}$ est un mot de ${\displaystyle L}$ et ${\displaystyle y}$ est un mot de ${\displaystyle M}$.

Quotients ou résiduels

Le quotient à gauche ${\displaystyle x^{-1}L}$ de ${\displaystyle L}$ par un mot ${\displaystyle x}$ est l'ensemble des mots ${\displaystyle y}$ tels que ${\displaystyle xy}$ appartient à ${\displaystyle L}$. Le quotient à gauche est aussi appelé résiduel.

Le quotient à droite ${\displaystyle Lx^{-1}}$ de ${\displaystyle L}$ par un mot ${\displaystyle x}$ est défini symétriquement comme l'ensemble des mots ${\displaystyle y}$ tels que ${\displaystyle yx}$ appartient à ${\displaystyle L}$.

Le quotient à gauche et le quotient à droite s'étendent aux langages. Ainsi, le quotient à gauche de ${\displaystyle L}$ par un langage ${\displaystyle M}$, noté ${\displaystyle M^{-1}L}$, est la réunion des langages ${\displaystyle x^{-1}L}$ pour ${\displaystyle x}$ dans ${\displaystyle M}$.

Étoile de Kleene

L'étoile de Kleene de L est l'ensemble noté ${\displaystyle L^{\star }}$ composé des mots de la forme ${\displaystyle u_{1}.u_{2}.\dots .u_{n}}$ avec ${\displaystyle n\geqslant 0}$ et ${\displaystyle u_{1},u_{2},\dots ,u_{n}\in L}$. Cet ensemble contient le mot vide.

Retourné ou image miroir

Le renversé de L, noté ${\displaystyle L^{R}}$ ou ${\displaystyle {\tilde {L}}}$ contient les mots miroirs des mots de L, c'est-à-dire les mots de L lus de droite à gauche.

Mélange ou « shuffle »

Le mélange de L et M, noté L Ш M, est l'ensemble des mots pouvant s'écrire ${\displaystyle u_{1}v_{1}u_{2}v_{2}\dots u_{n}v_{n}}$ où ${\displaystyle n\geqslant 0}$ et ${\displaystyle u_{1},\dots ,u_{n},v_{1},\dots ,v_{n}}$ sont des mots (éventuellement vides) tels que ${\displaystyle u_{1}u_{2}\dots u_{n}}$ soit un mot de L et ${\displaystyle v_{1}v_{2}\dots v_{n}}$ soit un mot de M. Par exemple[2] ${\displaystyle \{ab\}}$ Ш ${\displaystyle \{ba\}=\{abba,baab,baba,abab\}}$.

Morphisme et morphisme inverse

Une application ${\displaystyle f:A^{*}\to B^{*}}$ est un morphisme ou homomorphisme si ${\displaystyle f(xy)=f(x)f(y)}$ pour tous mots ${\displaystyle x,y}$ de ${\displaystyle A^{*}}$. L'image homomorphe d'un langage ${\displaystyle L}$ sur ${\displaystyle A}$ est l'ensemble

${\displaystyle f(L)=\{f(x)\mid x\in L\}}$.

Par abus de langage, on appelle morphisme inverse l'inverse d'un morphisme. Le morphisme inverse de ${\displaystyle f:A^{*}\to B^{*}}$ est la fonction notée ${\displaystyle f^{-1}}$ de ${\displaystyle B^{*}}$ dans l'ensemble des parties de ${\displaystyle A^{*}}$ définie par

${\displaystyle f^{-1}(y)=\{x\in A^{*}\mid f(x)=y\}}$.

Ce n'est en général pas un morphisme. L'image par un morphisme inverse d'un langage ${\displaystyle M}$ sur ${\displaystyle B}$ est le langage

${\displaystyle f^{-1}(M)=\bigcup _{y\in M}f^{-1}(y)}$.

Un morphisme est non effaçant ou croissant ou, par imitation de l'anglais, ε-free si l'image d'une lettre n'est jamais le mot vide. Dans ce cas, la longueur de l'image d'un mot est supérieure ou égale à celle du mot.

Propriétés de clôture

Une question commune sur ces opérations est de connaitre les propriétés de clôture de chaque famille de langage pour chacune de ces opérations, c'est-à-dire si le langage issu d'une opération reste dans la même famille de langages que les langages dont il est issu.

Tableau des propriétés de clôture[3] des familles de langages issus de la hiérarchie de Chomsky

	Langages rationnels	Langages algébriques déterministes	Langages algébriques	Langages contextuels	Langages récursifs	Langages récursivement énumérables
Union	Clos	Pas de clôture	Clos	Clos	Clos	Clos
Intersection	Clos	Pas de clôture	Pas de clôture	Clos	Clos	Clos
Complémentaire	Clos	Clos	Pas de clôture	Clos	Clos	Pas de clôture
Concaténation	Clos	Pas de clôture	Clos	Clos	Clos	Clos
Etoile de Kleene	Clos	Pas de clôture	Clos	Clos	Clos	Clos
Miroir	Clos	Pas de clôture	Clos	Clos	Clos	Clos
Mélange[4]	Clos	Pas de clôture	Pas de clôture	Pas de clôture	Pas de clôture	Pas de clôture
Morphisme	Clos	Pas de clôture	Clos	Pas de clôture	Pas de clôture	Clos
Morphisme croissant	Clos	Pas de clôture	Clos	Clos	Clos	Clos
Morphisme inverse	Clos	Clos	Clos	Clos	Clos	Clos

Notes et références

1. Un « mot » au sens mathématique du terme est une suite de symboles pris dans un ensemble dit « alphabet ».
2. Pour bien comprendre cet exemple, on écrit les lettres du deuxième mot en majuscules. Alors on obtient :

   ${\displaystyle \{ab\}}$ Ш ${\displaystyle \{BA\}=\{abBA,aBbA,BAab,BaAb,BabA,aBAb\}}$

   et quand on remplace les majuscules par les minuscules, on a bien les mots indiqués.
3. Preuves dans Olivier Carton, Langages formels, calculabilité et complexité, 2008 [détail de l’édition] (lire en ligne)
4. Preuves dans (en) Zoltán Ésik et Imre Simon, « Modeling literal morphisms by shuffle », Semigroup Forum, vol. 56,‎ 1998, p. 225-227.

Voir aussi

Bibliographie

• Olivier Carton, Langages formels, calculabilité et complexité, Paris, Vuibert, coll. « Capes-agrég », 28 octobre 2008, 1^re éd., 240 p., 17 x 24 (ISBN 978-2-7117-2077-4 et 2-7117-2077-2, présentation en ligne, lire en ligne)

Articles connexes

• Langage de programmation
• Étoile de Kleene
• Langage congruentiel
• Linguistique
• Noam Chomsky
• Marcel-Paul Schützenberger
• Centraliseur
• Transducteur fini
• Algèbre de mélange
• Morphisme
• Philosophie linguistique
• Système axiomatique
• Congruence de Simon

Liens externes

• Notice dans un dictionnaire ou une encyclopédie généraliste :

  • Britannica
• Notices d'autorité :

  • BnF (données)
  • LCCN
  • GND
  • Japon
  • Israël
  • Tchéquie