Analyse sémantique latente probabiliste

L’analyse sémantique latente probabiliste (de l'anglais, Probabilistic latent semantic analysis : PLSA), aussi appelée indexation sémantique latente probabiliste (PLSI), est une méthode de traitement automatique des langues inspirée de l'analyse sémantique latente.

Elle améliore cette dernière en incluant un modèle statistique particulier. La PLSA possède des applications dans le filtrage et la recherche d'information, le traitement des langues naturelles, l'apprentissage automatique et les domaines associés.

Elle fut introduite en 1999 par Thomas Hofmann[1],[2], et possède des liens avec la factorisation de matrices positives.

Comparée à l'analyse sémantique latente simple, qui découle de l'algèbre linéaire pour réduire les matrices des occurrences (au moyen d'une décomposition en valeurs singulières), l'approche probabiliste emploie un mélange de décompositions issues de l'analyse des classes latentes. On obtient ainsi une approche plus souple, fondée sur les statistiques.

Il a été montré que l'analyse sémantique latente probabiliste souffre parfois de surapprentissage[3], le nombre de paramètres croissant linéairement avec celui des documents. Bien que PLSA soit un modèle génératif des documents de la collection, elle modélise effectivement directement la densité jointe ${\displaystyle P(mot,document)}$, elle ne permet pas de générer de nouveaux documents, et en ce sens n'est pas un « vrai » modèle génératif[4]. Cette limitation est levée par l'Allocation de Dirichlet latente (LDA).

Évolutions de la PLSA

• Extensions hiérarchiques :
  • Asymétrique : MASHA (Multinomial ASymmetric Hierarchical Analysis) [5]
  • Symétrique : HPLSA (Hierarchical Probabilistic Latent Semantic Analysis) [6]

• Ces modèles ont été conçus pour pallier une limitation souvent évoquée de la PLSA, à savoir qu'elle n'est pas vraiment un modèle génératif, dans le sens où elle est incapable de générer de nouveaux documents.
  • Allocation de Dirichlet latente (LDA).

Notes et références

1. (en) Thomas Hofmann, « Probabilistic Latent Semantic Indexing », Proceedings of the Twenty-Second Annual International SIGIR Conference on Research and Development in Information Retrieval (SIGIR-99), 1999
2. (en) Thomas Hofmann, « Learning the Similarity of Documents : an information-geometric approach to document retrieval and categorization », Advances in Neural Information Processing Systems 12, pp-914-920, MIT Press, 2000
3. (en) David M. Blei, Andrew Y. Ng et Michael I. Jordan, « Latent Dirichlet Allocation », Journal of Machine Learning Research, vol. 3,‎ 2003, p. 993-1022 (lire en ligne)
4. (en) Test Data Likelihood for PLSA Models, Thorsten Brants, 2005
5. (en) Alexei Vinokourov et Mark Girolami, « A Probabilistic Framework for the Hierarchic Organisation and Classification of Document Collections », in Information Processing and Management, 2002
6. (en) Eric Gaussier, Cyril Goutte, Kris Popat and Francine Chen, « « A Hierarchical Model for Clustering and Categorising Documents »^(Archive.org • Wikiwix • Archive.is • Google • Que faire ?) », in "Advances in Information Retrieval -- Proceedings of the 24th BCS-IRSG European Colloquium on IR Research (ECIR-02)", 2002

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Probabilistic latent semantic analysis » (voir la liste des auteurs).

Liens externes

• (en) Probabilistic Latent Semantic Analysis