Публикации по теме 'word2vec'
Введение в машинное обучение на примерах - сравнение предложений
То, что начиналось с простого вопроса, оказалось интересным упражнением и моим первым практическим введением в машинное обучение (ML). Вопрос был в следующем:
Как вы сравниваете два предложения, чтобы определить, похожи ли они или имеют одинаковое значение?
Когда я впервые проводил исследования, я был ошеломлен тем, что возможное решение включало машинное обучение, и мне пришлось изучить все тонкости целой отрасли. Но, как оказалось, вам действительно нужно очень мало знать о машинном..
Вопросы по теме 'word2vec'
Работа с .bin файлами google word2vec в gensim python
Я пытаюсь начать с загрузки предварительно обученных .bin-файлов с сайта google word2vec (freebase-vectors-skipgram1000.bin.gz) в реализацию word2vec gensim. Модель загружается нормально,
с использованием ..
model =...
3104 просмотров
schedule
06.06.2022
обработка естественного языка: формат корпуса текста для word2vec
Я нашел руководство, использующее word2vec, в большом наборе данных Википедии http://danielfrg.github.io/blog/2013/09/21/word2vec-yhat/ Я хотел бы создать API-интерфейс yhat rest, подобный тому, который Даниэль продемонстрировал в своем руководстве....
2726 просмотров
schedule
06.09.2022
Код CUDA запускается при компиляции с sm_35, но не работает с sm_30
Устройство с графическим процессором, которое у меня есть, — это GeForce GT 750M, которое, как я обнаружил, имеет вычислительную мощность 3.0. Я скачал код CUDA, найденный здесь: ( https://github.com/fengChenHPC/word2vec_cbow . Его make-файл имел...
998 просмотров
schedule
17.05.2022
вероятностный вывод word2vec
Я новичок в мире word2vec и только начинаю использовать реализацию gensim для word2vec.
Я использую два наивных предложения в качестве моего первого набора документов,
[['first', 'sentence'], ['second', 'sentence']]
Я получаю такие...
70 просмотров
schedule
12.07.2023
Подходят ли векторы Word2Vec и Glove для распознавания сущностей?
Я работаю над распознаванием именованных сущностей. Я оценивал библиотеки, такие как MITIE, Stanford NER, NLTK NER и т. Д., Которые построены на традиционных методах nlp. Я также посмотрел на модели глубокого обучения, такие как векторы word2vec и...
1679 просмотров
schedule
26.12.2022
Генератор не итератор?
У меня есть генератор (функция, которая выдает данные), но при попытке передать его gensim.Word2Vec я получаю следующую ошибку:
TypeError: вы не можете передать генератор в качестве аргумента предложения. Попробуйте итератор.
Разве...
6090 просмотров
schedule
24.02.2022
как я могу использовать предварительно обученные векторы word2vec?
Я хочу использовать предварительно обученные векторы word2vec для классификации отрывков. Есть ли какие-то хорошо известные хорошие функции, которые я могу извлечь из них? Я читал, что усреднение векторов по всем словам в отрывке может быть...
931 просмотров
schedule
25.12.2023
PySpark - модель загрузки Word2Vec, нельзя использовать findSynonyms для получения слов
Я обучил модель Word2Vec с помощью PySpark и сохранил ее. При загрузке модели метод .findSynonyms не работает.
model = word2vec.fit(text)
model.save(sc, 'w2v_model')
new_model = Word2VecModel.load(sc, 'w2v_model')
new_model.findSynonyms('word',...
2016 просмотров
schedule
27.03.2023
Как получить векторы слов из gensim Doc2Vec?
Я обучил модель gensim.models.doc2vec.Doc2Vec d2v_model = Doc2Vec (предложения, size = 100, window = 8, min_count = 5, worker = 4), и я могу получить векторы документов с помощью docvec = d2v_model.docvecs [0 ]
Как я могу получить векторы слов из...
7353 просмотров
schedule
20.02.2022
Должен ли я использовать word2vec для встраивания слов, включая данные тестирования?
Я новичок в НЛП, и я пытаюсь выполнить работу по классификации текстов. Прежде чем приступить к работе, я знаю, что мы должны выполнить встраивание слов. Мой вопрос: должен ли я выполнять работу по встраиванию слов только в обучающие данные (чтобы...
645 просмотров
schedule
29.12.2022
Получите наиболее похожие слова, учитывая вектор слова (а не само слово)
Используя библиотеку gensim.models.Word2Vec , у вас есть возможность предоставить модель и «слово», для которого вы хотите найти список наиболее похожих слов:
model = gensim.models.Word2Vec.load_word2vec_format(model_file, binary=True)...
29273 просмотров
schedule
02.07.2022
Встраивание слов для сверточной нейронной сети
Я пытаюсь применить word2vec для сверточной нейронной сети. Я новичок в Tensorflow. Вот мой код для слоя перед поездом.
W = tf.Variable(tf.constant(0.0, shape=[vocabulary_size, embedding_size]),
trainable=False, name="W")...
1004 просмотров
schedule
20.09.2022
Почему нам нужно большее векторное пространство для отображения отношений в моделях встраивания слов?
Я работаю над встраиванием слов и немного запутался в количестве измерений вектора слова. Я имею в виду, возьмем в качестве примера word2vec. Мой вопрос в том, почему мы должны использовать, скажем, 100 скрытых нейронов для нашего скрытого слоя?...
205 просмотров
schedule
13.01.2024
KeyError: «слово 'word' отсутствует в словаре» в word2vec
Я использую word2vec , корпус вики, который я обучал, что я могу сделать, если слово, которое я ввожу, отсутствует в словаре в word2vec ?
Протестируйте немного:
model = word2vec.Word2Vec.load('model/' + 'wiki_chinese_word2vec.model')...
9662 просмотров
schedule
22.12.2023
gen_word2vec в тензорном потоке не найден
Когда я запускал код ( https://github.com/tensorflow/models/blob/master/tutorials/embedding/word2vec.py ) на своем ноутбуке (Mac, python3) я получил сообщение об ошибке:
AttributeError: module 'tensorflow.models.embedding.gen_word2vec' has no...
169 просмотров
schedule
15.08.2022
реализация word2vec CBOW reader на CNTK
Я хочу реализовать CBOW word2vec с отрицательной выборкой. Я прочитал документацию CNTK, но не смог найти читателя, который мог бы принимать предложения в качестве входных и выходных 2*k + 1 слов (текущее слово и k контекстные слова слева и...
442 просмотров
schedule
14.01.2022
Выходные векторы Word2Vec
Насколько я понимаю, Word2Vec создает словарь слов (или словарь) на основе корпуса обучения и выводит вектор K-dim для каждого слова в словаре. Мой вопрос в том, что именно является источником этих векторов K-Dim? Я предполагаю, что каждый вектор...
4880 просмотров
schedule
14.03.2024
TensorFlow RNN для распознавания именованных сущностей
Я пытаюсь разработать лучшую модель для адаптации к проблеме распознавания открытых именованных сущностей (биология / химия, поэтому словаря сущностей не существует, но они должны быть идентифицированы по контексту).
В настоящее время я лучше всего...
5002 просмотров
schedule
19.12.2023
Интерпретация отрицательного сходства Word2Vec от gensim
Например. мы обучаем модель word2vec, используя gensim :
from gensim import corpora, models, similarities
from gensim.models.word2vec import Word2Vec
documents = ["Human machine interface for lab abc computer applications",
"A...
7977 просмотров
schedule
03.07.2023
Почему word2vec превосходит другие методы нейронной сети?
Почему word2vec превосходит другие методы нейронной сети?
Word2vec более мелкий, чем другие методы нейронной сети (NNLM, RNNLM и т. д.).
Можно ли это объяснить?
И я хочу знать, есть ли у него какие-либо недостатки, потому что модель word2vec...
101 просмотров
schedule
19.04.2024