Méthode de l'ellipsoïde

Montre un polytope de programmation linéaire (bleu) ainsi que deux itérations de la méthode ellipsoïde utilisée pour déterminer un point dans le polytope.

En optimisation mathématique, la méthode de l'ellipsoïde est une méthode itérative utilisée pour minimiser des fonctions convexes. En informatique théorique, cette méthode est connue comme étant le premier algorithme de complexité polynomiale découvert pour résoudre les problèmes d'optimisation linéaire.

L'algorithme construit une suite d'ellipsoïdes de plus en plus petits, qui enserrent à chaque étape le minimum de la fonction objectif.

Histoire

Depuis son invention par George Dantzig en 1947, la méthode du simplexe avait relégué un certain nombre d'heuristiques antérieures pour résoudre les problèmes d'affectation sous contraintes linéaires, en particulier les itérations transposant le problème à une compétition entre deux joueurs. Tout au long des années 1950 et 1960, elle fut appliquée à des problèmes de taille de plus en plus grande jusqu'à ce qu'au début des années 1970, Victor Klee et George Minty (de) mettent en évidence l'existence de programmes pour lesquels l'algorithme de Dantzig conduit à examiner un nombre de pivots croissant exponentiellement avec la taille du problème[1].

La méthode des ellipsoïdes est une technique itérative d'optimisation qui avait été imaginée par David Youdine, Arcadi Nemirovski et, indépendamment, Nahum Chor (1976–77) ; un mathématicien arménien, Khatchian, tenta de l'utiliser pour résoudre les programmes linéaires mais cela n'allait nullement de soi : l'algorithme exigeait le calcul d'une estimation de la distance à l'optimum ; pour cela, Khatchian établit un certain nombre de majorations sur les volumes de polyèdres, et analysa la précision de calcul requise pour que la méthode soit praticable. Il publia ces résultats sans les démonstrations dans une note de quatre pages des Soviet Mathematics Doklady (février 1979). L'algorithme vint à la connaissance des chercheurs occidentaux lors d'une conférence au Symposium de programmation mathématique de Montréal, au mois d'août 1979, puis grâce à un article de Peter Gács et László Lovász[2], qui évitait les changements continuels de systèmes de coordonnées familiers aux mathématiciens russes. Enfin, dans un article publié en 1980, Khatchian publia ses démonstrations[3].

David B. Youdine (de), Arkadi Nemirovski, Leonid Khatchian, Martin Grötschel, László Lovász et Alexander Schrijver ont reçu le prix Fulkerson en 1982 pour leurs articles sur la méthode de l'ellipsoïde[4],[5],[6],[7].

Principe

On cherche à optimiser une fonction ${\displaystyle f(x):\mathbb {R} ^{n}\to \mathbb {A} }$ d'une manière à trouver au moins un point ${\displaystyle x^{\star }\in \mathbb {R} ^{n}}$ satisfaisant un ensemble de contrainte. (Pour une fonction à valeur réelle, on peut chercher un point tel que ${\displaystyle f(x^{\star })}$ soit positif par exemple.)

Le principe est de commencer avec un ellipsoïde qui contient à coup sûr la région admissible (c'est-à-dire obéissant aux contraintes). Ensuite, on essaye le centre de l'ellipsoïde et on recense les contraintes qui sont enfreintes : s'il n'y en a plus aucune, on a terminé. Dans le cas contraire, on sait que la solution (si elle existe) se trouve dans une partie de l'ellipsoïde limitée par des hyperplans. On construit alors une nouvelle ellipse plus petite qui contient cette partie et on répète l'opération.

On estime qu'à chaque étape le volume de l'ellipsoïde est divisé par un facteur au moins ${\displaystyle {\frac {n}{n-1}}}$, donc aymptotiquement par e après ${\displaystyle n}$ étapes.

Description de l'algorithme

Optimisation convexe sans contrainte

On se donne une fonction convexe ${\displaystyle f:\mathbb {R} ^{n}\rightarrow \mathbb {R} }$, que l'on cherche à minimiser. On décrit une ellipsoïde ${\displaystyle {\mathcal {E}}}$ par son centre y et une matrice symétrique définie positive A, afin que :

${\displaystyle {\mathcal {E}}=\{z\in \mathbb {R} ^{n}|(z-y)^{T}A^{-1}(z-y)\leq 1\}}$.

On suppose que l'on dispose d'une ellipsoïde initiale ${\displaystyle {\mathcal {E}}_{0}}$ contenant ${\displaystyle x^{*}}$, et que l'on peut déterminer un sous-gradient de f en tout point. La suite d'ellipsoïdes se construit alors par récurrence. Si ${\displaystyle {\mathcal {E}}_{k}}$ a pour centre ${\displaystyle x_{k}}$ et pour matrice ${\displaystyle A_{k}}$, on pose ${\displaystyle s_{k}}$ un sous-gradient de f en ${\displaystyle x_{k}}$. Alors :

${\displaystyle s_{k}^{T}(x^{*}-x_{k})\leq f(x^{*})-f(x_{k})\leq 0}$.

Par conséquent ${\displaystyle x^{*}\in {\mathcal {F}}_{k}:={\mathcal {E}}_{k}\cap \{z\in \mathbb {R} ^{n}|s_{k}^{T}(z-x_{k})\leq 0\}}$. On pose alors :

${\displaystyle t_{k}=\left({\dfrac {1}{\sqrt {s_{k}^{T}A_{k}s_{k}}}}\right)s_{k}}$

ce qui permet de calculer l'ellipsoïde contenant ${\displaystyle {\mathcal {F}}_{k}}$ de volume minimal :

${\displaystyle x_{k+1}=x_{k}-{\dfrac {1}{n+1}}A_{k}t_{k}}$

${\displaystyle A_{k+1}={\dfrac {n^{2}}{n^{2}-1}}\left(A_{k}-{\dfrac {2}{n+1}}A_{k}t_{k}t_{k}^{T}A_{k}\right)}$.

Optimisation linéaire

On considère une famille finie d'inégalités de la forme ${\displaystyle a_{i}^{T}x<b_{i}}$, avec ${\displaystyle (a_{i})}$ une famille de vecteurs à coordonnées entières et ${\displaystyle (b_{i})}$ une famille d'entiers. On cherche à déterminer l'existence d'un ${\displaystyle x\in \mathbb {R} ^{n}}$ vérifiant ces contraintes. L'algorithme est alors comparable au cas de l'optimisation convexe. L'ellipsoïde initiale est déterminée par ${\displaystyle x_{0}=0}$ et ${\displaystyle A_{0}=2^{L}I_{n}}$, avec L la taille en mémoire des paramètres du problème. À l'étape k, soit ${\displaystyle x_{k}}$ vérifie toutes les contraintes auquel cas l'algorithme s'arrête, soit l'une des inégalités n'est pas vérifiée, c'est-à-dire ${\displaystyle a_{i}^{T}x\geq b_{i}}$. On définit alors l'ellipsoïde avec les mêmes formules que dans le cas de la minimisation convexe, en posant ${\displaystyle s_{k}=a_{i}}$. Si le problème a une solution, l'algorithme s'arrête en moins de ${\displaystyle 6n^{2}L}$ étapes[2].

On peut alors résoudre un problème d'optimisation linéaire en cherchant l'existence d'une solution primale-duale au problème[2].

Illustration

Performances

C'était le premier algorithme qui garantissait la résolution d'un programme linéaire en temps polynomial mais reste assez lente en pratique.

Notes et références

• Cet article est partiellement ou en totalité issu de l'article intitulé « Équilibres et jeux matriciels » (voir la liste des auteurs).

1. Le problème du cube déformé de Klee-Minty a été publié dans Victor Klee, George J. Minty et Shisha Oved (dir.), Inequalities III (Proceedings of the Third Symposium on Inequalities held at the University of California, Los Angeles, Calif., September 1–9, 1969, New York et Londres, Academic Press, 1972, 159–175 p. (MR 332165), « How good is the simplex algorithm? »
2. Cf. P. Gács et L. Lovász, « Khachiyan’s algorithm for linear programming », Math. Programming Studies, n^o 14,‎ 1981, p. 61–68.
3. L. G. Khatchian, « Polynomial algorithms in linear programming », USSR Computational Mathematics and Mathematical Physics, vol. 20, n^o 1,‎ 1980, p. 53-72 (DOI 10.1016/0041-5553(80)90061-0)
4. D. B. Judin et Arkadi Nemirovski, « Informational complexity and effective methods of solution for convex extremal problems », Ekonomika i Matematicheskie Metody, vol. 12,‎ 1976, p. 357–369.
5. Leonid Khachiyan, « A polynomial algorithm in linear programming », Akademiia Nauk SSSR. Doklady, vol. 244,‎ 1979, p. 1093–1096.
6. « Leonid Khachiyan, professor, leading computer scientist », Boston Globe,‎ 5 mai 2005 (lire en ligne).
7. Martin Grötschel, László Lovász et Alexander Schrijver, « The ellipsoid method and its consequences in combinatorial optimization », Combinatorica, vol. 1,‎ 1981, p. 169–197.