Вопросы по теме 'word-embedding'

Как использовать вложения слов для предсказания в Tensorflow
Я пытаюсь пройти обучение по Tensorflow и застрял, пытаясь улучшить Учебник по RNN / языковой модели , чтобы я мог предсказать следующее слово в предложении. В учебнике используются вложения слов в качестве представления слов. Поскольку модель...
986 просмотров
tensorflow word-embedding
schedule 13.11.2022
Должен ли я использовать word2vec для встраивания слов, включая данные тестирования?
Я новичок в НЛП, и я пытаюсь выполнить работу по классификации текстов. Прежде чем приступить к работе, я знаю, что мы должны выполнить встраивание слов. Мой вопрос: должен ли я выполнять работу по встраиванию слов только в обучающие данные (чтобы...
645 просмотров
machine-learning nlp word-embedding word2vec text-classification
schedule 29.12.2022
Почему нам нужно большее векторное пространство для отображения отношений в моделях встраивания слов?
Я работаю над встраиванием слов и немного запутался в количестве измерений вектора слова. Я имею в виду, возьмем в качестве примера word2vec. Мой вопрос в том, почему мы должны использовать, скажем, 100 скрытых нейронов для нашего скрытого слоя?...
205 просмотров
neural-network word-embedding word2vec vector-space
schedule 13.01.2024
Почему word2vec превосходит другие методы нейронной сети?
Почему word2vec превосходит другие методы нейронной сети? Word2vec более мелкий, чем другие методы нейронной сети (NNLM, RNNLM и т. д.). Можно ли это объяснить? И я хочу знать, есть ли у него какие-либо недостатки, потому что модель word2vec...
101 просмотров
neural-network word-embedding word2vec
schedule 19.04.2024
Предотвратить чрезмерную подгонку классификации текста с помощью встраивания Word с LSTM
Задача : Определение ярлыка класса с использованием вопроса, введенного пользователем (например, системы ответов на вопросы). Данные, извлеченные из файла Big PDF, необходимо предсказать номер страницы на основе ввода данных пользователем. В...
9595 просмотров
keras tensorflow lstm word-embedding text-classification
schedule 23.03.2023
что такое размерность вложений слов?
Я хочу понять, что подразумевается под «размерностью» во вложениях слов. Когда я встраиваю слово в виде матрицы для задач НЛП, какую роль играет размерность? Есть ли наглядный пример, который может помочь мне понять эту концепцию?
15937 просмотров
nlp word-embedding dimensionality-reduction terminology
schedule 20.04.2023
Как рассчитать значение One-Hot Encoding в вектор с действительным знаком?
В Word2Vec я узнал, что и CBOW, и Skip-gram создают значение однократного кодирования для создания вектора (cmiiw), мне интересно, как вычислить или представить значение однократного кодирования в вектор с действительным значением, например...
760 просмотров
nlp deep-learning word-embedding word2vec
schedule 01.11.2023
Keras выдает объект Tensor без атрибута _keras_shape при разделении вывода слоя
У меня есть встраивание предложения X в пару предложений размерности 2*1*300 . Я хочу разделить этот вывод на два вектора формы 1*300 , чтобы вычислить его абсолютную разницу и произведение. x =...
2469 просмотров
python keras tensorflow word-embedding sentence-similarity
schedule 17.10.2022
Вычислить градиенты w.r.t. значения встраивания векторов в PyTorch
Я пытаюсь обучить модель LSTM с двойным кодировщиком для чат-бота с использованием PyTorch. Я определил два класса: класс Encoder определяет сам LSTM, а класс Dual_Encoder применяет Encoder как к контекстным, так и к ответным высказываниям, на...
1389 просмотров
pytorch nlp chatbot lstm word-embedding
schedule 22.08.2023
Градиенты TensorFlow: получение ненужных градиентов 0.0 с помощью tf.gradients
Предположим, у меня есть следующая переменная embeddings = tf.Variable (tf.random_uniform (dtype = tf.float32, shape = [self.vocab_size, self.embedding_dim], minval = -0.001, maxval = 0.001)) sent_1 = construct_sentence (word_ids_1)...
531 просмотров
tensorflow gradient word-embedding embedding
schedule 23.07.2022
Google Colab загружает вложения слов
Я использую Google Colab для моей модели DL (NLP), я загрузил и импортировал свои обучающие данные (снимок экрана), и теперь я хотел бы предварительно потренироваться по встраиванию слов GloVe. Если я загружу таким же образом, я думаю, это займет...
2129 просмотров
nlp google-colaboratory word-embedding
schedule 25.03.2023
Почему sampled_softmax_loss Tensorflow заставляет вас использовать смещение, когда эксперты рекомендуют не использовать смещение для Word2Vec?
Все реализации тензорного потока Word2Vec, которые я видел, имеют уклон в функцию softmax отрицательной выборки, в том числе на официальном сайте тензорного потока. https://www.tensorflow.org/tutorials/word2vec#vector-representations-of-words...
354 просмотров
tensorflow deep-learning word-embedding word2vec
schedule 23.07.2023
Gensim Doc2Vec: я получаю разные векторы из идентичных документов
У меня есть следующий код, и я думаю, что неправильно получаю векторы, потому что, например, векторы двух документов, которые на 100% идентичны, не совпадают. def getDocs(corpusPath): """Function for processings documents as TaggedDocument"""...
683 просмотров
python gensim word-embedding doc2vec
schedule 19.03.2022
Нормализовать вектор встраивания слов Fasttext, сгенерированный моделью
В настоящее время я использую FastText, чтобы получить вложения слов для некоторых входных текстовых данных, чтобы уловить сходство между ними и передать их в качестве входных данных в нейронную сеть для задачи NER. Сначала я попытался использовать...
1175 просмотров
python tensorflow fasttext word-embedding normalization
schedule 02.05.2022
Нормализуйте векторы в модели gensim
У меня есть предварительно обученное встраивание слов с векторами разных норм, и я хочу нормализовать все векторы в модели. Я делаю это с помощью цикла for, который перебирает каждое слово и нормализует его вектор, но модель у нас огромная и занимает...
3843 просмотров
python nlp gensim word-embedding
schedule 07.02.2023
Слой ELMo Embedding с Keras
Я использовал встраиваемый слой Keras по умолчанию со встраиваемыми словами в своей архитектуре. Архитектура выглядит так - left_input = Input(shape=(max_seq_length,), dtype='int32') right_input = Input(shape=(max_seq_length,), dtype='int32')...
5760 просмотров
python keras deep-learning lstm word-embedding
schedule 31.08.2022
Сопоставление вектора слова с наиболее похожим/ближайшим словом с использованием spaCy
Я использую spaCy как часть решения для моделирования тем, и у меня возникла ситуация, когда мне нужно сопоставить вектор производного слова с «ближайшим» или «наиболее похожим» словом в словаре векторов слов. Я вижу, что в gensim есть функция...
3345 просмотров
nlp spacy word-embedding word2vec
schedule 14.06.2022
keras понимает Слой встраивания Word
Со страницы я получил следующий код: from numpy import array from keras.preprocessing.text import one_hot from keras.preprocessing.sequence import pad_sequences from keras.models import Sequential from keras.layers import Dense from...
1038 просмотров
python keras tensorflow word-embedding
schedule 05.05.2024
Почему в документе для первого внимания не используются вложения слов (Glove, word2vecetc)?
В статье Нейронный машинный перевод путем совместного обучения выравниванию и переводу Bahdanau et. al. почему не используются вложения слов, такие как Glove или word2vec? Я понимаю, что это была статья 2014 года, но текущие реализации статьи на...
225 просмотров
nlp word-embedding machine-translation attention-model
schedule 17.04.2024
Наиболее похожий Gensim doc2vec выдает ошибку неподдерживаемого типа (ов) операндов
Я использую предварительно обученную модель doc2vec, когда пытаюсь найти документ, наиболее похожий на документ моего образца. Это дает мне ошибку неподдерживаемого типа (ов) операндов. from gensim.models import Doc2Vec filename = "doc2vec.bin"...
198 просмотров
machine-learning nlp gensim word-embedding doc2vec
schedule 01.04.2024