Публикации по теме 'word2vec'


Введение в машинное обучение на примерах - сравнение предложений
То, что начиналось с простого вопроса, оказалось интересным упражнением и моим первым практическим введением в машинное обучение (ML). Вопрос был в следующем: Как вы сравниваете два предложения, чтобы определить, похожи ли они или имеют одинаковое значение? Когда я впервые проводил исследования, я был ошеломлен тем, что возможное решение включало машинное обучение, и мне пришлось изучить все тонкости целой отрасли. Но, как оказалось, вам действительно нужно очень мало знать о машинном..

Вопросы по теме 'word2vec'

Работа с .bin файлами google word2vec в gensim python
Я пытаюсь начать с загрузки предварительно обученных .bin-файлов с сайта google word2vec (freebase-vectors-skipgram1000.bin.gz) в реализацию word2vec gensim. Модель загружается нормально, с использованием .. model =...
3104 просмотров
schedule 06.06.2022

обработка естественного языка: формат корпуса текста для word2vec
Я нашел руководство, использующее word2vec, в большом наборе данных Википедии http://danielfrg.github.io/blog/2013/09/21/word2vec-yhat/ Я хотел бы создать API-интерфейс yhat rest, подобный тому, который Даниэль продемонстрировал в своем руководстве....
2726 просмотров
schedule 06.09.2022

Код CUDA запускается при компиляции с sm_35, но не работает с sm_30
Устройство с графическим процессором, которое у меня есть, — это GeForce GT 750M, которое, как я обнаружил, имеет вычислительную мощность 3.0. Я скачал код CUDA, найденный здесь: ( https://github.com/fengChenHPC/word2vec_cbow . Его make-файл имел...
998 просмотров
schedule 17.05.2022

вероятностный вывод word2vec
Я новичок в мире word2vec и только начинаю использовать реализацию gensim для word2vec. Я использую два наивных предложения в качестве моего первого набора документов, [['first', 'sentence'], ['second', 'sentence']] Я получаю такие...
70 просмотров
schedule 12.07.2023

Подходят ли векторы Word2Vec и Glove для распознавания сущностей?
Я работаю над распознаванием именованных сущностей. Я оценивал библиотеки, такие как MITIE, Stanford NER, NLTK NER и т. Д., Которые построены на традиционных методах nlp. Я также посмотрел на модели глубокого обучения, такие как векторы word2vec и...
1679 просмотров

Генератор не итератор?
У меня есть генератор (функция, которая выдает данные), но при попытке передать его gensim.Word2Vec я получаю следующую ошибку: TypeError: вы не можете передать генератор в качестве аргумента предложения. Попробуйте итератор. Разве...
6090 просмотров
schedule 24.02.2022

как я могу использовать предварительно обученные векторы word2vec?
Я хочу использовать предварительно обученные векторы word2vec для классификации отрывков. Есть ли какие-то хорошо известные хорошие функции, которые я могу извлечь из них? Я читал, что усреднение векторов по всем словам в отрывке может быть...
931 просмотров
schedule 25.12.2023

PySpark - модель загрузки Word2Vec, нельзя использовать findSynonyms для получения слов
Я обучил модель Word2Vec с помощью PySpark и сохранил ее. При загрузке модели метод .findSynonyms не работает. model = word2vec.fit(text) model.save(sc, 'w2v_model') new_model = Word2VecModel.load(sc, 'w2v_model') new_model.findSynonyms('word',...
2016 просмотров
schedule 27.03.2023

Как получить векторы слов из gensim Doc2Vec?
Я обучил модель gensim.models.doc2vec.Doc2Vec d2v_model = Doc2Vec (предложения, size = 100, window = 8, min_count = 5, worker = 4), и я могу получить векторы документов с помощью docvec = d2v_model.docvecs [0 ] Как я могу получить векторы слов из...
7353 просмотров
schedule 20.02.2022

Должен ли я использовать word2vec для встраивания слов, включая данные тестирования?
Я новичок в НЛП, и я пытаюсь выполнить работу по классификации текстов. Прежде чем приступить к работе, я знаю, что мы должны выполнить встраивание слов. Мой вопрос: должен ли я выполнять работу по встраиванию слов только в обучающие данные (чтобы...
645 просмотров

Получите наиболее похожие слова, учитывая вектор слова (а не само слово)
Используя библиотеку gensim.models.Word2Vec , у вас есть возможность предоставить модель и «слово», для которого вы хотите найти список наиболее похожих слов: model = gensim.models.Word2Vec.load_word2vec_format(model_file, binary=True)...
29273 просмотров
schedule 02.07.2022

Встраивание слов для сверточной нейронной сети
Я пытаюсь применить word2vec для сверточной нейронной сети. Я новичок в Tensorflow. Вот мой код для слоя перед поездом. W = tf.Variable(tf.constant(0.0, shape=[vocabulary_size, embedding_size]), trainable=False, name="W")...
1004 просмотров

Почему нам нужно большее векторное пространство для отображения отношений в моделях встраивания слов?
Я работаю над встраиванием слов и немного запутался в количестве измерений вектора слова. Я имею в виду, возьмем в качестве примера word2vec. Мой вопрос в том, почему мы должны использовать, скажем, 100 скрытых нейронов для нашего скрытого слоя?...
205 просмотров

KeyError: «слово 'word' отсутствует в словаре» в word2vec
Я использую word2vec , корпус вики, который я обучал, что я могу сделать, если слово, которое я ввожу, отсутствует в словаре в word2vec ? Протестируйте немного: model = word2vec.Word2Vec.load('model/' + 'wiki_chinese_word2vec.model')...
9662 просмотров
schedule 22.12.2023

gen_word2vec в тензорном потоке не найден
Когда я запускал код ( https://github.com/tensorflow/models/blob/master/tutorials/embedding/word2vec.py ) на своем ноутбуке (Mac, python3) я получил сообщение об ошибке: AttributeError: module 'tensorflow.models.embedding.gen_word2vec' has no...
169 просмотров
schedule 15.08.2022

реализация word2vec CBOW reader на CNTK
Я хочу реализовать CBOW word2vec с отрицательной выборкой. Я прочитал документацию CNTK, но не смог найти читателя, который мог бы принимать предложения в качестве входных и выходных 2*k + 1 слов (текущее слово и k контекстные слова слева и...
442 просмотров
schedule 14.01.2022

Выходные векторы Word2Vec
Насколько я понимаю, Word2Vec создает словарь слов (или словарь) на основе корпуса обучения и выводит вектор K-dim для каждого слова в словаре. Мой вопрос в том, что именно является источником этих векторов K-Dim? Я предполагаю, что каждый вектор...
4880 просмотров
schedule 14.03.2024

TensorFlow RNN для распознавания именованных сущностей
Я пытаюсь разработать лучшую модель для адаптации к проблеме распознавания открытых именованных сущностей (биология / химия, поэтому словаря сущностей не существует, но они должны быть идентифицированы по контексту). В настоящее время я лучше всего...
5002 просмотров

Интерпретация отрицательного сходства Word2Vec от gensim
Например. мы обучаем модель word2vec, используя gensim : from gensim import corpora, models, similarities from gensim.models.word2vec import Word2Vec documents = ["Human machine interface for lab abc computer applications", "A...
7977 просмотров
schedule 03.07.2023

Почему word2vec превосходит другие методы нейронной сети?
Почему word2vec превосходит другие методы нейронной сети? Word2vec более мелкий, чем другие методы нейронной сети (NNLM, RNNLM и т. д.). Можно ли это объяснить? И я хочу знать, есть ли у него какие-либо недостатки, потому что модель word2vec...
101 просмотров
schedule 19.04.2024