La règle de Hebb, théorie de Hebb, postulat de Hebb ou théorie des assemblées de neurones a été établie par Donald Hebb en 1949. Elle est à la fois utilisée comme hypothèse en neurosciences et comme concept dans les réseaux neuronaux en mathématiques.
Cette théorie est souvent résumée par la formule : « des neurones qui s'excitent ensemble se lient entre eux. » (« cells that fire together, wire together »)[1]
C'est une règle algorithmique d'apprentissage des réseaux de neurones artificiels dans le contexte de l'étude d'assemblées de neurones.
Elle est basée sur une hypothèse scientifique en neurosciences. Elle décrit les changements d'adaptation neuronale dans le cerveau ou dans un réseau de neurones pendant un processus d'apprentissage. Elle décrit un mécanisme basique de plasticité synaptique dans laquelle l'efficacité synaptique augmente lors d'une stimulation présynaptique répétée et persistante de la cellule postsynaptique.
« Faisons l'hypothèse qu'une activité persistante et répétée d'une activité avec réverbération (ou trace) tend à induire un changement cellulaire persistant qui augmente sa stabilité. Quand un axone d'une cellule A est assez proche pour exciter une cellule B de manière répétée et persistante, une croissance ou des changements métaboliques prennent place dans l'une ou les deux cellules ce qui entraîne une augmentation de l'efficacité de A comme cellule stimulant B. »
Cette règle suggère que lorsque deux neurones sont excités conjointement, il se crée ou renforce un lien les unissant.
Cette théorie tente d'expliquer l'apprentissage associatif, dans lequel une association est faite par la répétition de deux stimuli. La répétition d'un stimulus seul entraîne le rappel de l'autre stimulus ensuite (voir apprentissage pavlovien).
Engrammes d'Hebb et théorie des assemblées de neurones
La théorie d'Hebb s'intéresse à la manière dont les neurones se connectent entre eux pour former des engrammes.
Gordon Allport propose des hypothèses complémentaires :
« Si l'entrée de données dans un système (input) cause l'apparition répétée du même modèle de stimulation, l'organisation des éléments actifs de ce système sera fortement renforcée. Ainsi, chaque élément activé aura tendance à activer chaque autre élément et (a contrario) à inactiver les éléments qui ne font pas partie de cette configuration. Pour le dire autrement, la configuration comme un tout sera « auto-associée ». Nous pouvons appeler une configuration apprise (auto associée) un engramme. »
— Allport 1985, p. 44.
L'« algorithme de Hebb » est un modèle simplifié, mais puissant de l'apprentissage associatif, où une association est faite par la répétition de deux stimuli. Par exemple, si le neurone présynaptique est activé par la vue d'un chien et que le neurone postsynaptique est activé par le mot « chien », l'algorithme de Hebb renforcera la connexion entre ces deux neurones. Avec les répétitions, cette connexion devient de plus en plus forte ; assez pour que le neurone postsynaptique soit ensuite activé par la seule vue du mot « chien ».
Le travail du prix Nobel Eric Kandel a fourni une preuve de l'implication des mécanismes d'apprentissages de Hebb dans les synapses du gastéropode marin Aplysia californica.
Mais il est plus difficile de vérifier ces théories sur les systèmes nerveux centraux des vertébrés, au cerveau plus complexe.
Le phénomène de potentialisation à long terme, un équivalent biologique de la « synapse de Hebb », joue un grand rôle dans les théories neurobiologiques de la mémoire. L'algorithme de Hebb sert à expliquer comment les souvenirs sont stockés dans le cerveau (quand un événement est subi ou provoqué de manière répétée, les connexions entre les neurones qui représentent cet événement seront renforcées. Avec suffisamment de répétitions, ces connexions deviendront suffisamment fortes pour que le souvenir de l'événement puisse être rappelé).
Il a été proposé par Kannappan et al. (2011) pour expliquer certains phénomènes neuroatypiques observés dans l'autisme[3] : tout ou partie du cerveau de personnes autistes semblent présenter une plasticité synaptique excessive, certaines de leurs synapses semblant plus susceptibles de se renforcer, ce qui pourrait conduire à une hyperconnectivité cérébrale, un trait observé chez elles qui pourrait expliquer certaines caractéristiques de l'autisme (mémorisation exceptionnelle, mais aussi difficultés de communication et d'interaction sociale). Inversement, certains réseaux neuronaux ou certaines personnes autistes pourraient avoir une plasticité synaptique insuffisante (synapses moins susceptibles de se renforcer, conduisant à une hypoconnectivité cérébrale, observée chez certaines personnes autistes et qui pourrait expliquer des comportements atypiques (gestes ou activités répétitives et intérêts restreints). L'algorithme de Hebb stipule que la connexion entre les neurones qui représentent un stimulus sera renforcée. Cela peut conduire à ce que la personne autiste développe un intérêt intense pour ce stimulus.
Une équipe d'experts a publié[4] en 2011 un modèle prometteur de prédiction du trouble du spectre autistique (TSA) à l'aide d'une carte cognitive floue (FCM) et d'un algorithme d'apprentissage hebbien non linéaire[4]. Ce modèle FCM est dénommé C24 (car construit sur 24 concepts, représentant trois valeurs floues) ; il a été formé sur un ensemble de données de personnes diagnostiquées avec TSA. Selon les auteurs, il a pu prédire le TSA] avec un degré de précision élevé et « il pourrait donc être utilisé pour aider les médecins à identifier les patients qui sont plus susceptibles d'être atteints de TSA »[4]. De même, plus d'un demi-siècle après que l'algorithme de Hebb ait été proposé par Donald Hebb (en 1949 dans son livre The Organization of Behavior), les notions d'« algorithmes hebbiens » («Hebbian learning algorithm»[5],[6] et d'algorithme d'apprentissage hebbien non linéaire utilisant le principe de plasticité synaptique en modifiant les poids synaptiques et des relations entre neurones artificiels sont aussi utilisée dans les domaines de l'étude de l'apprentissage du langage et de l'intelligence artificielle.
Un article (2010, dans la revue Neurocomputing) a proposé, pour améliorer l'apprentissage automatique, un « algorithme de Hebb révisé », qui intègre une dimension temporelle dans l'activation neuronale (en stipulant que la force d'une synapse est renforcée si les deux neurones qui la connectent sont activés dans un certain intervalle de temps). Les auteurs y montrent que cet algorithme révisé (par rapport à l'algorithme de Hebb original) se montre plus efficace que pour apprendre des séquences de données et plus robuste face aux perturbations des données.
L'algorithme de Hebb révisé est présenté comme suit :
Soient x(t) et y(t) les activités des neurones présynaptique et postsynaptique à l'instant t. L'algorithme de Hebb révisé définit la nouvelle valeur du poids synaptique w(t + 1) à l'instant t + 1 comme suit :
w(t + 1) = w(t) + α * x(t) * y(t) * h(t) où :
α est un coefficient d'apprentissage
h(t) est une fonction qui prend en compte la temporalité des activations des neurones
La fonction h(t) est ainsi définie:
h(t) = max(0, t - τ)
où τ est un paramètre correspondant à l'intervalle de temps durant lequel les deux neurones doivent être activés pour
↑(en) Donald Olding HEBB, The Organization of Behavior, New York, Wiley & Sons,
↑Arthi Kannappan, A. Tamilarasi et E. I. Papageorgiou, « Analyzing the performance of fuzzy cognitive maps with non-linear hebbian learning algorithm in predicting autistic disorder », Expert Systems with Applications, vol. 38, no 3, , p. 1282–1292 (ISSN0957-4174, DOI10.1016/j.eswa.2010.06.069, lire en ligne, consulté le ).
↑ ab et c(en) Arthi Kannappan, A. Tamilarasi et E.I. Papageorgiou, « Analyzing the performance of fuzzy cognitive maps with non-linear hebbian learning algorithm in predicting autistic disorder », Expert Systems with Applications, vol. 38, no 3, , p. 1282–1292 (DOI10.1016/j.eswa.2010.06.069, lire en ligne, consulté le ).
↑E.I. Papageorgiou, C.D. Stylios et P.P. Groumpos, « Active Hebbian learning algorithm to train fuzzy cognitive maps », International Journal of Approximate Reasoning, vol. 37, no 3, , p. 219–249 (ISSN0888-613X, DOI10.1016/j.ijar.2004.01.001, lire en ligne, consulté le )
↑(en) James C. R. Whittington et Rafal Bogacz, « An Approximation of the Error Backpropagation Algorithm in a Predictive Coding Network with Local Hebbian Synaptic Plasticity », Neural Computation, vol. 29, no 5, , p. 1229–1262 (ISSN0899-7667 et 1530-888X, DOI10.1162/neco_a_00949, lire en ligne, consulté le ).
Annexes
Bibliographie
(en) D.O. Hebb, The organization of behavior, New York, Wiley,
(en) D.O. Hebb et J. F. Delafresnaye (Ed.) (éditeur), Brain Mechanisms and Learning, Londres, Oxford University Press, , « Distinctive features of learning in the higher animal »
D.O. Hebb, « Human behaviour after extensive bilateral removal from the frontal lobes », Archives of Neurology and Psychiatry, vol. 44, , p. 421–436
(en) D.A. Allport, Newman, S.K. (éditeur) et Epstein, R. (éditeur), Current Perspectives in Dysphasia, Édimbourg, Churchill Livingstone, (ISBN0-443-03039-1), « Distributed memory, modular systems and dysphasia »
