GloVe

GloVe, від англ. Global Vectors (глобальні вектори), — це одна з моделей для розподіленого представлення слів. Ця модель є алгоритмом некерованого навчання для отримування векторних представлень слів. Це досягається відображенням слів до змістовного простору, в якому відстань між словами пов'язано з семантичною подібністю.[1] Тренування виконується на агрегованій глобальній статистиці попарної спільної появи^[en] слів корпусу, а отримувані в результаті представлення демонструють цікаві лінійні підструктури векторного простору слів. Її розроблюють як відкритий проєкт у Стенфорді.[2] Як логарифмічно-білінійна регресійна модель для некерованого навчання представлень слів, вона поєднує властивості двох сімейств моделей, а саме, методів глобального розкладу матриць, та локального контекстного вікна.[3]

Застосування

GloVe можливо використовувати, щоби знаходити зв'язки між словами, такі як синоніми, відношення «компанія — продукт», поштових індексів та міст тощо. Її також використовує модель spaCy, щоби будувати семантичні вкладення слів/вектори ознак під час обчислення найкращих відповідних слів за такими мірами відстані як косинусна подібність та підхід евклідової відстані.[4] Її також використовували як систему представлення слів для онлайнових та автономних систем, розроблених для виявляння психічних розладів в опитуваннях пацієнтів.[1]

Історія

Її було запущено 2014 року.

Див. також

• Word2vec
• fastText
• Обробка природної мови

Примітки

1. Abad, Alberto; Ortega, Alfonso; Teixeira, António; Mateo, Carmen; Hinarejos, Carlos; Perdigão, Fernando; Batista, Fernando; Mamede, Nuno (2016). Advances in Speech and Language Technologies for Iberian Languages: Third International Conference, IberSPEECH 2016, Lisbon, Portugal, November 23-25, 2016, Proceedings (англ.). Cham: Springer. с. 165. ISBN 9783319491691. (англ.)
2. GloVe: Global Vectors for Word Representation (pdf) [Архівовано 3 вересня 2020 у Wayback Machine.] (англ.) «Ми використовуємо наші ідеї для побудови нової моделі для представлення слів, яку ми називаємо GloVe, від англ. Global Vectors (глобальні вектори), оскільки ця модель безпосередньо фіксує глобальну статистику корпусу.»
3. Kalajdziski, Slobodan (2018). ICT Innovations 2018. Engineering and Life Sciences (англ.). Cham: Springer. с. 220. ISBN 9783030008246. (англ.)
4. Singh, Mayank; Gupta, P. K.; Tyagi, Vipin; Flusser, Jan; Ören, Tuncer I. (2018). Advances in Computing and Data Sciences: Second International Conference, ICACDS 2018, Dehradun, India, April 20-21, 2018, Revised Selected Papers. Singapore: Springer. с. 171. ISBN 9789811318122. (англ.)

Посилання

• GloVe [Архівовано 19 грудня 2016 у Wayback Machine.]
• Deeplearning4j GloVe [Архівовано 2 лютого 2019 у Wayback Machine.]