Почему word2vec превосходит другие методы нейронной сети?

Почему word2vec превосходит другие методы нейронной сети?

Word2vec более мелкий, чем другие методы нейронной сети (NNLM, RNNLM и т. д.).

Можно ли это объяснить?

И я хочу знать, есть ли у него какие-либо недостатки, потому что модель word2vec не содержит скрытого слоя (функция активации, такая как сигмоид и т. Д.)?


person yc Kim    schedule 04.03.2017    source источник
comment
Как вы их сравниваете (какая мера)?   -  person Nassim Ben    schedule 04.03.2017
comment
по мере точности? (в статье word2vec 2013a)   -  person yc Kim    schedule 05.03.2017
comment
Вы думаете, что мы все знаем ту работу, результаты и методы, которые вы цитируете? Он меняется каждые 6 месяцев (или даже быстрее), 2013 год уже старый. Я могу найти вам 5 статей, которые превосходят word2vec по различным показателям с разными языковыми моделями. Все говорят, что они лучшие. Если у вас есть такие вопросы, укажите свои источники и лучше объясните контекст вашего вопроса :)   -  person Nassim Ben    schedule 05.03.2017


Ответы (1)


Из того, что я понял до сих пор, удаление скрытого слоя влияет на точность. Однако это приводит к высокому вычислительному выигрышу, поскольку мы можем использовать модель для обучения на гораздо больших наборах данных, чем это было возможно раньше. Суть модели в том, что обучение простой модели на большем количестве данных дает лучшие результаты, чем более дорогие модели с меньшими наборами данных.

person Ammar Asmro    schedule 16.04.2017