Какая семантическая связь ожидается между векторами слов, которые являются скалярными кратными друг другу в word2vec?

Допустим, у вас есть вектор слова для слова queen. Некоторые из его скалярных кратных будут x = queen + queen, y = queen + queen + queen и n * queen для любого реального значения n (поэтому мы также рассматриваем нецелые значения n, такие как 0.83 * queen).

Считайте x словом, наиболее похожим на вектор королева + королева в соответствии с косинусным сходством между простым средним векторов проекционных весов наиболее похожего слова и вектором королева + королева.

Считайте y словом, наиболее похожим на вектор королева + королева + королева тем же способом.

Тогда какие семантические отношения ожидаются между словами x, y и queen? Я знаю, что все эти векторы будут иметь одинаковое соотношение между размерными значениями в векторе, но мне трудно понять, как это понимать с точки зрения значения слов.

Моя интуиция говорит, что я получу что-то в другом контексте, у которого есть позиция в этом контексте, похожая на королеву. Например, «богатство» королевы может быть значительно больше, чем «красота» королевы. Так что я возьму другое слово в другом контексте, которое имеет тот же баланс богатства и красоты, что и «королева».

Допустим, я перехожу от королевских титулов (королева, король, принцесса ...) к списку Forbes (Джефф Безос, Билл Гейтс, Уоррен Баффет ...), когда я умножаю королеву на n.

королева * n = кто-то из списка Forbes, у которого такой же баланс богатства и красоты, как у королевы (очень богатый, но не очень красивый)

принцесса * n = кто-то из списка Forbes, у которого такой же баланс богатства и красоты, как у принцессы (умеренно богатый, но очень красивый)

Однако это всего лишь дикая теория, я понятия не имею, как систематически доказывать, что это реально.


person Ruan    schedule 31.07.2018    source источник
comment
1. Представьте, что у вас есть вектор (1,0). Умножьте это два или три раза. Он будет лежать на одной линии? То же и с word2vec. 2. Это не всегда поддается интерпретации. Интуиция подсказывает, что составляющие векторы должны составлять их значения, например если вы будете составлять queen и child, вы должны получить вектор, который каким-то образом включает princess. Но я не думаю, что вы получите что-то осмысленное, просто умножив слово королева (что-то очень королева?).   -  person Amir    schedule 31.07.2018
comment
1. Да (en.wikipedia.org/wiki/Scalar_multiplication). 2. Моя интуиция говорит, что я получу что-то в другом контексте, у которого есть позиция в этом контексте, подобная ферзя. Например, богатство королевы может быть значительно больше красоты королевы. Так что я возьму другое слово в другом контексте, которое имеет тот же баланс богатства и красоты, что и королева.   -  person Ruan    schedule 31.07.2018
comment
Также опубликовано на CS.SE: cs.stackexchange.com/q/95816/755   -  person D.W.    schedule 12.08.2018


Ответы (1)


Слова, которые больше всего похожи на косинус на wv['queen'], будут точно такими же, которые наиболее похожи на косинус на n * wv['queen'], для любого n, потому что на косинусоподобие не влияет величина вектора. Итак, ваше предположение неверно.

Если бы вы использовали евклидово расстояние вместо косинусоподобия для необработанных (не нормализованных по единице) векторов слов, вы могли бы найти некоторые другие интересные отношения ... но это не типичный способ использования / сравнения векторов слов, так что вам придется экспериментировать, и у меня нет никаких ожиданий относительно того, что вы можете найти или будет ли это полезно.

В общем, необработанные ненормированные на единицу слова-векторы имеют тенденцию иметь более высокую величину для слов, которые имеют один узкий смысл (все контексты, в которых они появляются, очень похожи), в то время как слова с множеством смыслов и различными контекстами имеют тенденцию иметь меньшие величины. Но я не уверен, что на это можно рассчитывать. Как только векторы слов нормализованы к единичной длине - и, таким образом, все слова находятся на одной и той же «единичной сфере», тогда порядок рангов ближайших соседей будет одинаковым либо по косинусному расстоянию, либо по евклидову величине. расстояние (даже если величины чисел расстояния / сходства не будут одинаковыми или пропорциональными для каждого ранга).

person gojomo    schedule 01.08.2018
comment
Я провел несколько экспериментов с евклидовым расстоянием. Вы получаете значимые / полезные результаты для небольшого корпуса, однако по мере роста размера корпуса вы начинаете получать все больше и больше шума по сравнению с косинусным сходством. Не верьте мне на слово, это были всего лишь очень простые эксперименты, ничего исчерпывающего. - person Ruan; 08.08.2018