La loi de Benford, initialement appelée loi des nombres anormaux par Benford[1],[2], également connue sous le nom de loi de Newcomb-Benford[3], fait référence à une fréquence de distribution statistique observée empiriquement sur de nombreuses sources de données dans la vraie vie, ainsi qu'en mathématiques.
Dans une série de données numériques, on pourrait s'attendre à voir les chiffres de 1 à 9 apparaître à peu près aussi fréquemment comme premier chiffre significatif, soit avec une fréquence de 1/9 = 11,1 % pour chacun. Or, contrairement à cette intuition (biais d'équiprobabilité), la série suit très souvent approximativement la loi de Benford : pour près du tiers des données, le 1er chiffre significatif est le 1. Viennent ensuite le chiffre 2, puis le 3, etc., et la probabilité d'avoir un 9 comme premier chiffre significatif n'est que de 4,6 %. C'est une loi observée aussi bien dans les mathématiques sociales, c'est-à-dire les sciences humaines et sociales, que dans des tables de valeurs numériques comme celles qu'on rencontre en physique[4], en volcanologie[5], en génétique[6], en BTP, en économie (taux de change) ou dans les numéros de rue d'un carnet d'adresses personnel.
Énoncé de la loi
Une série de nombres réels en écriture décimale suit la loi de Benford si la fréquence d'apparition du premier chiffre significatifc vaut approximativement :
pour tout c entre 1 et 9 où désigne le logarithme décimal. On vérifie que la somme de ces fréquences vaut .
Par exemple, la probabilité benfordienne qu'un nombre commence par un 1, comme 1 012 ou 0,000189, vaut : , voir la suite A007524 de l'OEIS.
Cette définition se généralise pour l'écriture des nombres en base b en remplaçant log par logb ; par exemple :
en base 2, la probabilité benfordienne qu'un nombre commence par un 1 vaut : (tous les nombres commencent par un 1) ;
en base 3, la probabilité benfordienne qu'un nombre commence par un 1 vaut , par un 2 : .
Historique
En 1881, après qu'il se soit aperçu de l'usure (et donc de l'utilisation) préférentielle des premières pages des tables de logarithmes (alors compilées dans des ouvrages), l'astronome américain Simon Newcomb a rapporté cette loi, sans la nommer, dans un article de l'American Journal of Mathematics[7]. Cet article passe inaperçu pendant cinquante-sept ans. Frank Benford, aux alentours de 1938, remarque à son tour cette usure inégale, croit être le premier à formuler cette loi qui porte, conformément à la loi de Stigler, indûment son nom aujourd'hui, et arrive aux mêmes résultats après avoir répertorié des dizaines de milliers de données (longueurs de fleuves, cours de la bourse, etc.)
Premiers exemples et contre-exemples
Dans la vie réelle, on constate souvent la décroissance des probabilités en fonction du premier chiffre, voire une adéquation avec les valeurs de la loi de Benford : données géographiques, données physiques, résultats sportifs, taille des fichiers sauvegardés dans un ordinateur, etc.
Fréquences relatives des chiffres significatifs selon la loi de Benford
Chiffre significatif
Fréquence approximative
1
30 %
2
18 %
3
12 %
4
10 %
5
8 %
6
7 %
7
6 %
8
5 %
9
4 %
Par exemple, Mickaël Launay a relevé en 2019 1 226 prix dans un supermarché, et a obtenu comme fréquences successives pour les premiers chiffres de 1 à 9 : 32 %, 26 %, 15 %, 9 %, 5 %, 4 %, 3 %, 2 %, 4 %[8].
Dans une liste de 100 nombres obtenus comme produits de deux nombres ou plus tirés au hasard entre 1 et 10 000, les fréquences des chiffres 1 à 9 en première position suivent peu ou prou les valeurs de la loi de Benford.
La loi de Benford n'est pas valable si l'on tire au hasard des nombres entiers strictement positifs ayant n chiffres au plus ; il y en a en effet autant qui commencent par 1, par 2,... ou par 9, soit .
Cette loi n'est pas vérifiée si la série de données comporte :
des contraintes quant à l'échelle des valeurs vraisemblables : par exemple, la taille des individus, lorsqu'elle est exprimée dans le système métrique, ne suit, à l'évidence, pas la loi de Benford puisque la quasi-totalité des mesures commence par le chiffre « 1 » ;
des contraintes sur le premier chiffre comme pour les numéros de téléphone.
Loi de Benford continue et uniformité de la partie fractionnaire du logarithme
La mantisse d'un réel étant définie comme le nombre de l'intervalle obtenu en déplaçant la virgule après le premier chiffre significatif (par exemple, la mantisse de 0,00125 est 1,25), on donne la définition suivante, généralisant la précédente, et également constatée dans la vraie vie.
Définition — Une série de nombres réels en écriture décimale suit la loi de Benford continue si pour tout inclus dans , la fréquence des nombres de la série dont la mantisse appartient à vaut .
Les premiers chiffres des nombres de la série suivent alors la loi de Benford simple, puisque le premier chiffre d'un réel est égal à si la mantisse de appartient à , et la probabilité correspondante vaut alors .
Or, la mantisse de étant obtenue par la formule : où désigne la partie fractionnaire, la mantisse de appartient à si et seulement si appartient à ; on obtient alors le théorème de Diaconis[9] :
Théorème — Une série de nombre réels en écriture décimale suit la loi de Benford continue, (donc aussi la loi de Benford simple) si et seulement si les parties fractionnaires des logarithmes de ses termes sont uniformément réparties sur [0,1] (ou en termes plus techniques, si les logarithmes de ses termes sont équirépartis modulo 1).
C'est sous cette forme plus générale impliquant la mantisse logarithmique que la loi de Benford a été énoncée la première fois par Newcomb[10].
La loi de Benford s'applique à n'importe quelle base (binaire, octale, hexadécimale...).
Cas des chiffres suivant le premier
Loi d'un bloc de k chiffres
En utilisant la loi de Benford en base ou la loi de Benford continue, on obtient que la probabilité benfordienne que l'écriture décimale d'un réel commence par un nombre de chiffres entre et vaut : .
Par exemple, la probabilité benfordienne qu'un nombre commence par 314, comme 3,14159..., 314285,7... ou 0,00314465... vaut (ici, et ).
Cette définition se généralise pour l'écriture des nombres en base en remplaçant par ; par exemple :
en système binaire, la probabilité benfordienne qu'un nombre commence par vaut ; il y a donc légèrement plus de nombres commençant par que par .
en base 3, la probabilité benfordienne qu'un nombre commence par vaut .
Loi des chiffres suivant le premier
Ce résultat permet de trouver la probabilité benfordienne qu'un chiffre soit à une position donnée dans un nombre. Par exemple, la probabilité benfordienne qu'un soit trouvé en deuxième position vaut :
Plus généralement, la probabilité benfordienne que le chiffre soit en position vaut :
On remarque que la loi de cette probabilité se rapproche rapidement d'une loi uniforme avec une valeur de 10 % pour chacun des dix chiffres, comme illustré ci-dessous[11].
chiffre
0
1
2
3
4
5
6
7
8
9
1er
NC
30,1 %
17,6 %
12,5 %
9,7 %
7,9 %
6,7 %
5,8 %
5,1 %
4,6 %
2e
12,0 %
11,4 %
10,9 %
10,4 %
10,0 %
9,7 %
9,3 %
9,0 %
8,8 %
8,5 %
3e
10,2 %
10,1 %
10,1 %
10,1 %
10,0 %
10,0 %
9,9 %
9,9 %
9,9 %
9,8 %
On peut supposer une distribution uniforme à partir du quatrième chiffre car le chiffre 0 apparaît 10,0176 % du temps en quatrième position et le chiffre 9 apparaît 9,9824 % du temps.
Il est également possible de généraliser ce résultat en base quelconque. La probabilité benfordienne que le chiffre soit en position d'un nombre en base vaut[12]:
Lien avec la loi de Zipf
Comme pour grand, la loi de Benford d'apparition du nombre comme premier bloc peut être vue comme une loi de Zipf approchée[13].
Inversement si conformément à la loi de Zipf, l'on attribue le poids à l'entier , et définit la densité d'une partie de comme la limite quand tend vers l'infini, si elle existe, de , alors la densité de l'ensemble des entiers >0 commençant par le préfixe en écriture décimale vaut justement [13].
Applications
Détection de fraudes fiscales
Dans un article publié en 1972, l'économiste Hal Varian propose d'utiliser la loi de Benford pour détecter la fraude fiscale[14]. Les premiers chiffres significatifs 5 et 6 prédominent nettement dans les données falsifiées : 40 % pour les 5 et plus de 20 % pour les 6.
Pour proposer un modèle de prédiction d'indice boursier, il convient d'inclure un test de cohérence car la loi de Benford ne fait pas de distinction entre les nombres 20 et 200 000 : ces deux nombres ayant 2 comme premier chiffre significatif[15].
Les chiffres peuvent cependant aussi être influencés par le souci d'éviter des seuils et des plafonds fiscaux, dans le cadre d'une optimisation fiscale, qui n'a rien d'illégal.
Détection de fraudes comptables
Dans une étude publiée en 2011, quatre économistes allemands ont testé la loi de Benford sur les données comptables produites par les États membres de l'Union européenne. Ils montrent que la Grèce est le pays européen qui s'éloigne le plus des prédictions de la loi de Benford. La Belgique est le second pays qui dévie le plus par rapport à cette loi. Un économiste a émis l'hypothèse que la Belgique avait falsifié ses comptes[16],[17].
Détection de fraudes électorales
La loi de Benford a aussi été utilisée pour mettre en évidence la fraude électorale. Le canton de Genève en Suisse l'a utilisée pour détecter d'éventuelles irrégularités dans les scrutins du canton[18],[19].
Trois politologues ont publié une étude montrant à partir de simulations que la mise en évidence de la fraude à partir d'un test d'adéquation à la loi de Benford était problématique et ne donnait pas de bons résultats sur les données simulées[20].
Détection de fraudes liées au commerce international
Des tentatives ont été faites pour appliquer cette loi à la détection des fraudes du commerce international[21],[22].
Détection de fraudes scientifiques
La loi de Benford a aussi été utilisée pour détecter des données contrefaites dans des articles scientifiques[23].
Explications
Invariance d'échelle
L'observation empirique a montré que les ensembles de mesures physiques qui suivent la loi de Benford continuent de le faire après leur conversion dans d'autres unités (longueurs, de même pour des listes de prix exprimés dans une monnaie donnée, après un changement de devise)[24]. En revanche, si un tableau de nombres ne suit pas d'assez près la loi de Benford, le changement de monnaies ou la conversion d'unité modifie considérablement la fréquence d'apparition du premier chiffre.
Theodore P. Hill(en) a démontré le théorème suivant, dit « d'invariance d'échelle » : la seule loi de probabilité du premier chiffre qui reste invariante par multiplication par toute constante >0, est la loi de Benford[25] ; une telle loi est dite scalante. Ainsi, la pertinence consiste à observer les écarts multiplicatifs et « dans une liste quelconque de données, on trouvera la même proportion de nombres entre 1 et 2, qu'entre 2 et 4 ou entre 4 et 8[26] ».
Pour de nombreux ensembles de nombres, et tout particulièrement ceux qui n'ont pas d'ordre de grandeur imposé, comme les chiffres d'affaires d'entreprises et les cours de bourse[27], cette supposition est raisonnable.
Donald Knuth donne une démonstration de cette propriété dans le tome 2 de son The Art of Computer Programming, intitulé Seminumerical Algorithms. Cette démonstration a été redonnée par d'autres sans citer Knuth[25].
Démonstration
Il s'agit essentiellement de la démonstration donnée par Knuth, présentée de façon plus abstraite et peut-être moins accessible[28].
Choisissons un nombre réel strictement positif appartenant à un intervalle I.
Pour son écriture décimale, on cherche la probabilité de son premier chiffre non nul, indépendamment de toute autre caractéristique.
Cela correspond à la recherche d'une mesurem sur l'ensemble I, supposé mesurable, avec :
etc.
On suppose que I est construit comme une union de produits de l'intervalle [1;10[ par des réels ai > 0 ; c'est-à-dire : I = ∪ ai × [1;10[ pour des ai > 0. Donc, on travaille dans le groupe multiplicatif des réels strictement positifs (car c'est ainsi que la topologie de ce groupe est construite).
L'ensemble des réels strictement positifs muni de la multiplication étant un groupe topologiqueséparable et localement compact, il existe une et une seule mesure (à un coefficient multiplicateur près) qui soit invariante par la loi de groupe : la mesure de Haar du groupe.
Cette mesure est m = dx⁄x.
Prenons I = [1;10[, on a :
Et on a :
Comme la mesure m est invariante par le produit, en prenant I = ∪ ai × [1;10[ avec , on arrive au même résultat.
La loi de Benford est également invariante par changement de système de numération[7].
Produit de variables indépendantes
En 1994, Jeff Boyle a montré que si une variable résulte de la multiplication entre elles d'un grand nombre de variables indépendantes, elle suit à peu près la loi de Benford (exactement à la limite)[29],[23]. Autrement dit, la loi de Benford serait naturelle si les nombreux facteurs qui expliquent telle ou telle grandeur agissent multiplicativement.
En 2008, Nicolas Gauvrit et Jean-Paul Delahaye redonnent une explication de la loi de Benford[23] en utilisant le caractère étalé et régulier de la partie fractionnaire des logarithmes des nombres d'une série statistique[31].
Ils suggèrent de plus qu'un équivalent de cette loi fondé sur d'autres fonctions que le logarithme fonctionnerait tout aussi bien[23], mais donnerait des lois moins simples que celle de Benford[30].
Exemples de suites infinies vérifiant ou ne vérifiant pas la loi de Benford
Par définition, une suite de réels vérifie la loi de Benford en base si la fréquence limite des termes de la suite dont l'écriture en base (sans tenir compte de la virgule) commence par le chiffre vaut .
Plus précisément, notant l'ensemble des valeurs de la suite et l'ensemble des réels dont l'écriture en base commence par le chiffre , cela signifie que .
Le fait que ces suites suivent la loi de Benford prouve que le nombre dont le développement après la virgule est formé de la concaténation des éléments de l'une de ces suites est un nombre univers. Par exemple pour les puissances de 2, on obtient le nombre univers .
Suites connues pour ne pas vérifier cette loi
On démontre que si une suite vérifie la loi de Benford, alors la suite est non majorée[38]. On en déduit les contre-exemples suivants :
la suite des entiers
plus généralement les suites et les suites polynomiales positives
la suite
la suite des nombres premiers
Cependant, certaines de ces suites suivent une loi de Benford affaiblie en les sens suivants :
Suite des entiers
Pour cette suite, les fréquences du premier chiffre en base oscillent constamment entre les deux valeurs :
et
(1/9 et 5/9 par exemple pour le chiffre 1 en base 10, voir une démonstration à densité asymptotique).
On note que ces valeurs décroissent, de façon inversement proportionnelle à et , et que la densité benfordienne est comprise entre ces deux valeurs extrêmes.
De plus, en effectuant des moyennes de Césaro successives, on obtient bien à la limite cette densité[39],[40].
Notons que, tout de même, la fréquence des premiers chiffres est équirépartie (égale à ) si l'on se place entre 1 et exclu.
Suite des nombres premiers
Pour cette suite également, les fréquences des premiers chiffres ne convergent pas[38],[42],[43], mais la densité logarithmique relative de parmi les nombres premiers, soit, est bien égale à [41].
Exemples de lois du premier chiffre pour des variables issues de variables uniformes entre 0 et 1
Si est une variable aléatoire réelle uniforme sur , le premier chiffre de suit une loi uniforme entre 1 et 9 ; cependant, pour , la probabilité que le premier chiffre soit égal à vaut , donnant (pour allant de 1 à 9) la suite de valeurs (décroissante) en % : 19,2; 14,7 ; 12.4 ; 10.9 ; 9,9 ; 9,1 ; 8,5 ; 8,0 ; 7,5.
Pour , on obtient la probabilité qui tend, lorsque tend vers l'infini, vers : le premier chiffre de tend donc, en loi, vers une variable benfordienne.
Idem pour un produit de variables indépendantes uniformes sur (résultat de Boyle mentionné ci-dessus).
Si et sont deux variables aléatoires réelles uniforme indépendantes sur , la probabilité que le premier chiffre de soit égal à vaut dont les valeurs successives sont 33,3 ;14,8 ; 10,2 ; 8,3 ; 7,4 ; 6,9 ; 6,6 ; 6,3 ; 6,2, assez proches de celles de la loi de Benford.
Notes et références
↑(en) Frank Benford, « The law of anomalous numbers », Proceedings of the American Philosophical Society, vol. 78, 1938, p. 551-572.
↑Ian Stewart, 1 est plus probable que 9, in Pour la science, 190, p.96. et aussi in L'univers des nombres, Belin, 2000, p. 59.
↑(en) James L. Friar, Terrance Goldman, and Juan Pérez–Mercader, « Genome Sizes and the Benford Distribution », sur US National Library of Medicine- National Institutes of Health, (consulté le ).
↑(en) Bernhard Rauch, Max Göttsche, Gernot Brähler et Stefan Engel, « Fact and Fiction in EU-Governmental Economic Data », German Economic Review(en), vol. 12, no 3, , p. 243-255 (lire en ligne, consulté le ).
↑« Un économiste soupçonne la Belgique d’avoir falsifié ses comptes », Le Soir, (lire en ligne).
↑« Des statisticiens traquent la fraude électorale », Le Temps, (ISSN1423-3967, lire en ligne, consulté le ).
↑.
(en-US) Joseph Deckert, Mikhail Myagkov et Peter Ordeshook, « Benford's Law and the Detection of Election Fraud », Political Analysis, vol. 19, no 3, , p. 245-268 (lire en ligne, consulté le ).
↑(en) L. Pietronero, E. Tosatti, V. Tosatti, A. Vespignani, « Explaining the uneven distribution of numbers in nature: The laws of Benford and Zipf », Physica A: Statistical Mechanics and its Applications, vol. 293, nos 1–2, , p. 297-304 (DOI10.1016/S0378-4371(00)00633-6).
↑Washington, « Benford's Law for Fibonacci and Lucas Numbers », The Fibonacci Quarterly, vol. 19, no 2, , p. 175–177.
↑Duncan, « An Application of Uniform Distribution to the Fibonacci Numbers », The Fibonacci Quarterly, vol. 5, , p. 137–140.
↑Sarkar, « An Observation on the Significant Digits of Binomial Coefficients and Factorials », Sankhya B, vol. 35, , p. 363–364.
↑ ab et c(en) Peter N. Posch, « A Survey on Sequences and Distribution Functions
satisfying the First-Digit-Law. », Journal of Statistics and Management Systems,
Volume 11, (lire en ligne).
↑(en) B.J. Flehinger, « On the probability that a random integer has initial digit a », Amer. Math. Monthly 73, , p. 1056—1061.
↑Une démonstration du résultat de Flehinger se trouve dans un livre de Knuth (The Art of Computer Programming, Vol. 2. Addison-Wesley Publishing Company, 1981).
↑ a et bA. Fuchs et G. Letta, « Le problème du premier chiffre décimal pour les nombres premiers », The Foata Festschrift. Electron, J. Combin. 3, n°2, (lire en ligne).