Logit

Représentation graphique de la fonction logit.

La fonction logit est une fonction mathématique utilisée principalement :

• en statistiques et pour la régression logistique,
• en intelligence artificielle (réseaux neuronaux),
• en inférence bayésienne pour transformer les probabilités sur [0,1] en évidence sur ℝ afin d'une part d'éviter des renormalisations permanentes, et d'autre part de rendre additive la formule de Bayes pour faciliter les calculs.

Son expression est

${\displaystyle \operatorname {logit} (p)=\ln \left({\frac {p}{1-p}}\right)\!\,}$ où p est défini sur ]0, 1[

La base du logarithme utilisé est sans importance, tant que celle-ci est supérieure à 1. Le logarithme népérien (base e) est souvent choisi, mais on peut lui préférer le logarithme décimal (base 10) pour mettre en évidence les ordres de grandeur décimaux : logit(p) = –4 correspond alors à une probabilité de 10^-4, etc. En fiabilité, Myron Tribus utilise une base 10^0.1, soit dix fois le logarithme décimal, et les nomme des décibels[1] par analogie avec les niveaux de bruit. Pour éviter toute confusion[a], Stanislas Dehaene appelle cette unité déciban dans ses cours au Collège de France, du nom inventé par Alan Turing en 1940[2], repris par d'autres auteurs[3].

Propriétés

Réciproque

Utilisée avec le logarithme népérien, la fonction logit est la réciproque de la sigmoïde :

${\displaystyle f(x)={\frac {1}{1+\mathrm {e} ^{-x}}}}$.

Elle est donc utilisée pour linéariser les fonctions logistiques.

Points remarquables et limites

La fonction logit étant définie sur ]0,1[, on s'intéresse aux deux points extrêmes et au point central.

• ${\displaystyle \lim _{p\to 1}\operatorname {logit} (p)=+\infty }$
• ${\displaystyle \operatorname {logit} \left({\frac {1}{2}}\right)=0\!\,}$
• ${\displaystyle \lim _{p\to 0}\operatorname {logit} (p)=-\infty }$

Dérivée

La fonction logit est dérivable pour tout ${\textstyle x\in ]0,1[}$. Avec le logarithme népérien, sa valeur est $${\displaystyle {\frac {\mathrm {d} }{\mathrm {d} x}}\operatorname {logit} (x)={\frac {1}{x}}+{\frac {1}{1-x}}}$$

Étant donné que, pour tout ${\textstyle x\in ]0,1[}$, ${\displaystyle 1/x>0}$ et ${\displaystyle 1/(1-x)>0}$, la fonction logit est strictement croissante.

Primitives

En utilisant les propriétés du logarithme népérien et la forme de ses primitives, on montre que sa primitive qui s'annule en 0 s'écrit :

$${\displaystyle \int _{0}^{x}\operatorname {logit} (t)\mathrm {d} t=x\operatorname {logit} (x)+\ln(1-x)}$$

Motivation

Si p est une probabilité, cette probabilité sera toujours comprise entre 0 et 1, et donc toute tentative pour ajuster un nuage de probabilité par une droite sera invalidée par le fait que la droite n'est pas bornée. La transformation de p en p/(1–p) permet de travailler sur des valeurs variant de 0 à +∞, puis le passage au logarithme permet de travailler sur un nuage de points dont les valeurs varient entre –∞ et +∞, ce qui rend possible l'approximation par une droite réelle. Sous cette forme on peut tenter un ajustement du nuage de points[b].

La fonction logit est plus malléable que la probit, ce qui permet de simuler par une fonction dérivable en forme de S aplati ce qui, en pratique, ressemble à un saut non continu, une « marche d'escalier » (oui/non en régression discrète, déclenchement d'un neurone, catastrophe à la Thom, etc.)

Historique

Joseph Berkson a présenté la fonction et le nom logit en 1944, par analogie et en opposition à la notion de probit développée par Chester Ittner Bliss et John Gaddum en 1934.

Alan Turing utilise indépendamment la même fonction peu après la Seconde Guerre mondiale sous le nom de log-odds[4].

Comparaison de la fonction logit avec un probit (c.-à-d. la réciproque de la fonction de répartition normale) calibré pour égaliser les pentes à l'origine, soit ${\displaystyle \Phi ^{-1}(x)/{\sqrt {\frac {\pi }{8}}}}$

En effet, une fonction de répartition de fréquences en forme de S aplati peut laisser penser à une distribution Normale, mais aussi à une courbe logistique qui est moins concentrée (de kurtosis > 3), voire à d'autres modèles (arc tangente, Student, Cauchy). Jusqu'en 1944, le modèle de la loi normale était privilégié et la fonction pour en déterminer les paramètres était la fonction probit. Il faut plusieurs années à Berkson pour convaincre la communauté scientifique que le modèle logit possède sa place dans l'arsenal des méthodes au même titre que le modèle probit ; mais sa virulence polémique d'une part et l'habitude acquise de la loi normale d'autre part freinent puissamment l'adoption du modèle. Le développement des statistiques et des réseaux neuronaux le généralisera pourtant dès 1960. De nos jours, en inférence statistique, il est plus utilisé que le probit, par exemple dans la régression logistique[5]. Les imperfections du modèle Gauss-normal ont également conduit les responsables de systèmes de classement Elo (échecs, tennis, football, etc.) à lui préférer un modèle logistique.

La fonction logit doit en partie son succès à la moindre puissance de calcul nécessaire à son évaluation, même sans moyens informatiques[6].

Notes et références

Notes

1. Le décibel est le logarithme base 0,1 du rapport entre deux puissances.
2. La méthode des moindres carrés ne s'imposera pas nécessairement pour autant, les points n'étant pas nécessairement de représentativité ni de poids comparables.

Références

1. (en) Myron Tribus, Rational Descriptions, Decisions and Designs, Pergamon Press, 1969 (lire en ligne), réimprimé en 1999, Expira Press, (ISBN 9789197363303).
2. (en) Irving John Good, « Studies in the History of Probability and Statistics. XXXVII A. M. Turing's statistical work in World War II », Biometrika, vol. 66, n^o 2,‎ 1979, p. 393–396 (DOI 10.1093/biomet/66.2.393, MR 0548210).
3. (en) F.L. Bauer, Decrypted secrets : Methods and maxims of cryptology, Berlin, Springer, 1997 (lire en ligne), p. 239 ; (en) David J. MacKay, Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003, p. 265.
4. Stanislas Dehaene, « Introduction au raisonnement Bayésien et à ses applications », 2012.
5. (en) J.S. Cramer, Université de Cambridge, « The origins and development of the logit model » [PDF], sur cambridge.org, p. 8sq.
6. Cramer, p. 11.