Векторное представление (векторное вложение слов,вложение слов или эмбеддинги[1]) — общее название для различных подходов к моделированию языка и обучению представлений в обработке естественного языка, направленных на сопоставление словам (и, возможно, фразам) из некоторого словаря векторов из для , значительно меньшего количества слов в словаре. Теоретической базой для векторных представлений является дистрибутивная семантика.
Существует несколько методов для построения такого сопоставления. Так, используют нейронные сети[2] , методы снижения размерности в применении к матрицам совместных упоминаний слов (word co-occurrence matrices)[3] и явные представления, обучающиеся на контекстах упоминаний слов (explicit representations)[4].
Продемонстрировано, что векторные представления слов и фраз способны значительно улучшить качество работы некоторых методов автоматической обработки естественного языка (например, синтаксический анализ[5] и анализ тональности[6]).
Примеры эмбеддингов
В настоящее время существует большое количество моделей векторного представления слов и алгоритмов, для их эффективного обучения. К наиболее известным относятся:
Word2vec — разработанный в 2013 году в компании Google набор инструментов для эффективного обучения моделей эмбеддингов[7][8]
FastText[англ.] — модель, разработанная компанией Facebook в 2015 году[10]. Её особенностью является использование эмбеддингов не только для целых слов, но и для их частей.[11]
↑Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado, Greg; Dean, Jeffrey (2013). "Distributed Representations of Words and Phrases and their Compositionality". arXiv:1310.4546 [cs.CL].
