Вопросы по теме 'fasttext'

Используйте Tensorflow и предварительно обученный FastText для встраивания невидимых слов
Я использую предварительно обученную модель fasttext https://github.com/facebookresearch/fastText/blob/master/pretrained-vectors.md ). Я использую Gensim для загрузки модели fasttext. Он может выводить вектор для любых слов, независимо от того,...
3622 просмотров
schedule 08.08.2022

Использование ближайших соседей для прогнозирования классификации текста с помощью fasttext
Я могу неправильно понять, как работают fasttext / deep learning для классификации, я хотел бы принять во внимание ближайших соседей для предсказания меток. Цель моей работы - предугадать ярлык с синонимами. Я тренирую большой набор данных с...
333 просмотров

Нормализовать вектор встраивания слов Fasttext, сгенерированный моделью
В настоящее время я использую FastText, чтобы получить вложения слов для некоторых входных текстовых данных, чтобы уловить сходство между ними и передать их в качестве входных данных в нейронную сеть для задачи NER. Сначала я попытался использовать...
1175 просмотров

Как библиотека быстрого текста Facebook обрабатывает числовые данные при вводе для векторизации слов?
Я использую Fasttext Facebook для выполнения классификации текста. Я хотел знать, как библиотека fasttext обрабатывает числа в текстовой строке, предоставленной в качестве входных данных для векторизации слов. Приводит ли fasttext каждое число...
635 просмотров
schedule 14.10.2022

Fasttext игнорирует неправильные прогнозы?
Я обучил быструю текстовую модель с учителем. Я использовал библиотеку Python pyfasttext для прогнозирования модели. Пример: у меня есть такие данные. text - label The meeting is planned - event The work should be finished - task Здесь...
446 просмотров
schedule 29.03.2023

Как загрузить файл в каждом исполнителе один раз?
Я определяю следующий код для загрузки предварительно обученной модели встраивания: import gensim from gensim.models.fasttext import FastText as FT_gensim import numpy as np class Loader(object): cache = {} emb_dic = {} count = 0...
689 просмотров
schedule 08.01.2023

Неконтролируемая потеря модели Fast Text с помощью Python API
Есть ли способ получить потерю модели для неконтролируемого обучения моделей с использованием Fast Text с API Python? На данный момент я занимаюсь обучением с использованием модели C ++ и загружаю ее с помощью Python API. Например, я сначала...
697 просмотров
schedule 15.02.2022

Fasttext, как загрузить столбец .csv в model.predict
Я новичок в питоне и НЛП. Я следовал этому руководству ( https://fasttext.cc/docs/en/supervised-tutorial.html ) для обучения моей контролируемой модели fasttxt на Python. У меня есть csv с текстовым столбцом, и я хотел бы предсказать, что метки...
1474 просмотров
schedule 14.02.2024

Ускорьте работу Word2vec от Gensim для получения большого набора данных
Я пытаюсь построить модель Word2vec (или FastText) с помощью Gensim на массивном наборе данных, который состоит из 1000 файлов, каждый из которых содержит ~ 210 000 предложений, и каждое предложение содержит ~ 1000 слов. Обучение проводилось на...
1988 просмотров
schedule 22.04.2022

Не удается воспроизвести предварительно обученные векторы слов из векторных_ngrams
Просто любопытство, но я отлаживал код FastText gensim для репликации реализации слов вне словаря (OOV), и я не смог этого сделать. Итак, процесс, за которым я следую, - это обучение крошечной модели с игрушечным корпусом, а затем сравнение...
123 просмотров
schedule 09.05.2023

Контролируемое обучение и тестирование в реализации GenSims FastText
В настоящее время я обучаю модель Gensim FastText с документом из определенного домена с помощью метода обучения без учителя от Gensim. После этого обучения представлений слов я хотел бы обучить набор строк предложения + меток и в конечном итоге...
155 просмотров

Распараллеливание fastText.get_sentence_vector с dask дает ошибку травления
Я пытался получить вложения предложений fastText для 80 миллионов английских твитов, используя механизм распараллеливания с использованием dask, как описано в этом ответе: Как вы распараллеливаете apply() на кадрах данных Pandas, используя все ядра...
386 просмотров

Анализ тональности итальянских предложений
Если у вас есть опыт в анализе настроений, не могли бы вы рассказать мне, как я могу анализировать эти предложения, какой инструмент, библиотека, модуль мне нужен? I nostri test di laboratorio ti permettono di confrontare le migliori marche di...
461 просмотров
schedule 06.11.2023

обучение модели Fasttext
Я хочу обучить модель Fasttext на Python с помощью библиотеки gensim. Во-первых, я должен токенизировать каждое предложение в его слова, тем самым преобразовывая каждое предложение в список слов. Затем этот список должен быть добавлен к...
110 просмотров
schedule 07.10.2023