AlexNet

AlexNet : Une architecture de réseau neuronal convolutif avec 5 étapes convolutives et 3 couches entièrement connectées pour la classification d'images

AlexNet est le nom d'une architecture de réseau neuronal convolutif. Elle a été conçue par Alex Krizhevsky, Ilya Sutskever et leur directeur de thèse Geoffrey Hinton[1],[2].

AlexNet a participé le 30 septembre 2012 au concours ImageNet de reconnaissance d'images. Le réseau (nommé initialement « SuperVision ») a fait 10,8% d'erreurs de moins que le deuxième[3].

L'article original souligne que la profondeur du modèle est essentielle pour obtenir de hautes performances, mais nécessite beaucoup de capacités de calcul. AlexNet s'est démarqué en utilisant des processeurs graphiques pour paralléliser les calculs, permettant ainsi d'entraîner un réseau particulièrement profond[2].

Contexte historique

AlexNet n'était pas la première implémentation d'un réseau neuronal convolutif utilisant des processeurs graphiques pour en augmenter les performances. Un tel réseau avait déjà été implémenté en 2006 par K. Chellapilla et ses collègues, et était 4 fois plus rapide qu'une implémentation équivalente sur CPU[4]. Un réseau neuronal convolutif profond implémenté en 2011 par Dan Cireșan et ses collègues était déjà 60 fois plus rapide[5], et surpassait ses prédécesseurs en août 2011[6]. Entre le 15 mai 2011 et le 10 septembre 2012, leur CNN a remporté pas moins de quatre concours d'images[7],[8]. Ils ont également considérablement amélioré les meilleures performances de la littérature pour plusieurs bases de données d'images[9].

Selon l'article d'AlexNet[2], le réseau antérieur de Cireșan était « quelque peu similaire ». Les deux ont été initialement écrits avec CUDA pour fonctionner avec les cartes graphiques Nvidia. En fait, les deux ne sont que des variantes des réseaux neuronaux convolutifs introduits en 1989 par Yann Le Cun et ses collègues[10],[11], qui ont appliqué l'algorithme de rétropropagation à une variante de l'architecture originale de réseau neuronal convolutif de Kunihiko Fukushima appelée « néocognitron »[12],[13]. L'architecture a ensuite été modifiée par la méthode de J. Weng appelée max-pooling[14],[8].

En 2015, AlexNet a été surpassé par le très profond CNN de Microsoft Research Asia avec plus de 100 couches, qui a remporté le concours ImageNet 2015[15].

Conception de réseau

AlexNet contient huit couches : les cinq premières sont des couches convolutives, certaines d'entre elles sont suivies par des couches de max-pooling, et les trois dernières sont des couches entièrement connectées. Le réseau, à l'exception de la dernière couche, est divisé en deux copies, chacune fonctionnant sur un processeur graphique. Le réseau utilise la fonction d'activation ReLU, qui a affiché de meilleures performances que tanh et sigmoïde[2].

Influence

AlexNet est considéré comme l'un des articles scientifiques les plus influents publiés en vision par ordinateur, ayant suscité la publication de nombreux autres articles utilisant des réseaux neuronaux convolutifs et des processeurs graphiques pour accélérer l'apprentissage en profondeur[16]. Début 2023, l'article d'AlexNet avait été cité plus de 120 000 fois selon Google Scholar [17].

Références

  1. ↑ (en) Gershgorn, « The data that transformed AI research—and possibly the world », Quartz,
  2. ↑ a b c et d (en) Alex Krizhevsky, Ilya Sutskever et Geoffrey E. Hinton, « ImageNet classification with deep convolutional neural networks », Communications of the ACM, vol. 60, no 6,‎ , p. 84–90 (ISSN 0001-0782, DOI 10.1145/3065386, S2CID 195908774, lire en ligne)
  3. ↑ « ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012) », sur Image-net (consulté le )
  4. ↑ (en) Kumar Chellapilla, Sidd Puri et Patrice Simard, Tenth International Workshop on Frontiers in Handwriting Recognition, Suvisoft, (lire en ligne), « High Performance Convolutional Neural Networks for Document Processing »
  5. ↑ (en) Dan Cireșan, Ueli Meier, Jonathan Masci, Luca M. Gambardella et Jürgen Schmidhuber, « Flexible, High Performance Convolutional Neural Networks for Image Classification », Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence-Volume Volume Two, vol. 2,‎ , p. 1237–1242 (lire en ligne, consulté le )
  6. ↑ (en) « IJCNN 2011 Competition result table », OFFICIAL IJCNN2011 COMPETITION, (consulté le )
  7. ↑ (en) Jürgen Schmidhuber, « History of computer vision contests won by deep CNNs on GPU », sur IDSIA, (consulté le )
  8. ↑ a et b (en) Jürgen Schmidhuber, « Deep Learning », Scholarpedia, vol. 10, no 11,‎ , p. 1527–54 (PMID 16764513, DOI 10.1162/neco.2006.18.7.1527, S2CID 2309950, CiteSeerx 10.1.1.76.1541, lire en ligne)
  9. ↑ Dan Cireșan, Ueli Meier et Jürgen Schmidhuber, 2012 IEEE Conference on Computer Vision and Pattern Recognition, New York, NY, Institute of Electrical and Electronics Engineers (IEEE), , 3642–3649 p. (ISBN 978-1-4673-1226-4, OCLC 812295155, DOI 10.1109/CVPR.2012.6248110, arXiv 1202.2745, S2CID 2161592, CiteSeerx 10.1.1.300.3283), « Multi-column deep neural networks for image classification »
  10. ↑ (en) « Backpropagation Applied to Handwritten Zip Code Recognition », Neural Computation, MIT Press - Journals, vol. 1, no 4,‎ , p. 541–551 (ISSN 0899-7667, OCLC 364746139, DOI 10.1162/neco.1989.1.4.541, lire en ligne)
  11. ↑ (en) Yann Le Cun, Léon Bottou, Yoshua Bengio et Patrick Haffner, « Gradient-based learning applied to document recognition », Proceedings of the IEEE, vol. 86, no 11,‎ , p. 2278–2324 (DOI 10.1109/5.726791, S2CID 14542261, CiteSeerx 10.1.1.32.9552, lire en ligne, consulté le )
  12. ↑ (en) Kunihiko Fukushima, « Neocognitron », Scholarpedia, vol. 2, no 1,‎ , p. 1717 (DOI 10.4249/scholarpedia.1717, Bibcode 2007SchpJ...2.1717F)
  13. ↑ (en) Kunihiko Fukushima, « Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position », Biological Cybernetics, vol. 36, no 4,‎ , p. 193–202 (PMID 7370364, DOI 10.1007/BF00344251, S2CID 206775608, lire en ligne, consulté le )
  14. ↑ (en) J. J. Weng, N. Ahuja et T. S. Huang, « Learning recognition and segmentation of 3-D objects from 2-D images », Proc. 4th International Conf. Computer Vision,‎ , p. 121–128
  15. ↑ Kaiming He, Xiangyu Zhang, Shaoqing Ren et Jian Sun, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 770–778 p. (ISBN 978-1-4673-8851-1, DOI 10.1109/CVPR.2016.90, arXiv 1512.03385, S2CID 206594692), « Deep Residual Learning for Image Recognition »
  16. ↑ (en) Adit Deshpande, « The 9 Deep Learning Papers You Need To Know About (Understanding CNNs Part 3) », adeshpande3.github.io (consulté le )
  17. ↑ (en) « Imagenet classification with deep convolutional neural networks », sur Google Scholar