Вопросы по теме 'bert-language-model'

Сохранение и выполнение логического вывода с моделью BERT Tensorflow
Я создал двоичный классификатор с языковой моделью Tensorflow BERT. Вот ссылка . После обучения модель сохраняет модель и создает следующие файлы. Код прогноза. from tensorflow.contrib import predictor #MODEL_FILE = 'graph.pbtxt'...
3602 просмотров
python tensorflow tensorflow-serving bert-language-model
schedule 02.09.2023
Предсказание пропущенного слова в тексте
Я знаю о BERT и других решениях, когда вы маскируете некоторые слова и пытаетесь их предсказать. Но допустим, у меня есть текст: Трансформеры взяли штурмом Natural Processing, преобразовывая область как на дрожжах. Новые, более крупные и...
195 просмотров
nlp bert-language-model
schedule 21.07.2022
Токенизатор BERT и загрузка модели
Я новичок .. Я работаю с Бертом. Однако из-за безопасности сети компании следующий код не получает напрямую модель bert. tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased', do_lower_case=False) model =...
11948 просмотров
github python pytorch huggingface-transformers bert-language-model
schedule 20.09.2023
получение кодировок на уровне слов из кодировок токенов вложенных слов
Я изучаю использование предварительно обученной модели BERT ('bert-base-uncased') для извлечения контекстуализированных кодировок на уровне слов из группы предложений. Обозначение словесных элементов разбивает некоторые слова в моем вводе на...
243 просмотров
nlp tokenize huggingface-transformers bert-language-model
schedule 02.03.2022
Как именно должен быть отформатирован входной файл для тонкой настройки языковой модели (BERT через Huggingface Transformers)?
Я хотел использовать examples/run_lm_finetuning.py из репозитория Huggingface Transformers на предварительно обученной модели Берта. Однако из документации не очевидно, как должен быть структурирован файл корпуса (кроме ссылки на набор данных...
4125 просмотров
python pytorch huggingface-transformers bert-language-model
schedule 02.06.2023
Почему можно добавить три вложения Берта?
Я уже знаю значение встраивания токенов, встраивания сегментов и встраивания позиций. Но почему эти три вектора можно сложить вместе? Размер и направление векторов изменятся после сложения, а также изменится семантика слова. (Это тот же вопрос для...
373 просмотров
nlp transformer vector embedding bert-language-model
schedule 12.05.2024
Могу ли я использовать ненастроенную модель BERT от TF HUB, чтобы обслуживать ее с обслуживанием TF?
Я новичок в TF serving , и в настоящее время у меня такая проблема. Я запускаю серверную часть, используя bert_en_uncased из TF HUB , но я не понять, как правильно реализовать клиентскую часть. Я столкнулся с парой статей, но каждая из них...
151 просмотров
python tensorflow nlp bert-language-model
schedule 28.06.2023
HuggingFace BERT `inputs_embeds` дает неожиданный результат
Реализация TensorFlow HuggingFace BERT позволяет нам использовать предварительно вычисленное встраивание вместо встроенный поиск, свойственный BERT. Это делается с помощью необязательного параметра inputs_embeds метода call модели (вместо...
863 просмотров
python tensorflow nlp huggingface-transformers bert-language-model
schedule 07.10.2022
Как получить вероятность конкретного токена (слова) в предложении с учетом контекста
Я пытаюсь вычислить вероятность или любой тип оценки слов в предложении с помощью НЛП. Я пробовал этот подход с моделью GPT2, используя библиотеку Huggingface Transformers, но я не смог получить удовлетворительных результатов из-за однонаправленного...
1489 просмотров
pytorch nlp huggingface-transformers bert-language-model
schedule 03.02.2022
Что означает файл merge.txt в моделях на основе BERT в библиотеке HuggingFace?
Я пытаюсь понять, что означает файл merge.txt в токенизаторах для модели RoBERTa в библиотеке HuggingFace. Однако на их сайте об этом ничего не говорится. Любая помощь приветствуется.
349 просмотров
nlp tokenize huggingface-transformers bert-language-model
schedule 12.05.2023
Tensorflow BERT для классификации токенов - исключите токены падов из точности при обучении и тестировании
Я делаю классификацию на основе токенов, используя предварительно обученную BERT-модель для tenorflow, чтобы автоматически отмечать причины и следствия в предложениях. Для доступа к BERT я использую интерфейс TFBertForTokenClassification из...
1834 просмотров
python tensorflow named-entity-recognition huggingface-transformers bert-language-model
schedule 09.03.2022
Токены, возвращенные в трансформаторной модели Берта из encode ()
У меня есть небольшой набор данных для анализа настроений. Классификатор будет простым KNN, но я хотел получить слово «встраивание» с моделью Bert из библиотеки transformers . Обратите внимание, что я только что узнал об этой библиотеке - я все...
1026 просмотров
python machine-learning nlp huggingface-transformers bert-language-model
schedule 04.11.2022
Почему модель BERT должна сохранять 10% токена MASK неизменным?
Я читаю модельную статью BERT. В задаче «Маскированная языковая модель» во время предварительного обучения модели BERT в документе говорится, что модель будет выбирать 15% токенов в случайном порядке. В выбранном токене (Ti) 80% будет заменено...
876 просмотров
nlp deep-learning bert-language-model
schedule 03.07.2022
Каталог моделей трубопроводов трансформаторов
Я использую функцию конвейера Transformers Huggingface, чтобы загрузить модель и токенизатор, мой ПК с Windows загрузил их, но я не знаю, где они хранятся на моем ПК. Не могли бы вы мне помочь? from transformers import pipeline qa_pipeline =...
170 просмотров
python-3.x python pipeline huggingface-transformers bert-language-model
schedule 10.12.2023
Невозможно импортировать имя "сеть" из "tensorflow.python.keras.engine"
При попытке загрузить BERT QA я получаю следующее ImportError: Невозможно импортировать имя «сеть» из «tensorflow.python.keras.engine». Полный журнал ошибок следует ниже. После этого сообщения ImportError: невозможно импортировать имя «сеть» из...
594 просмотров
python-3.x keras tensorflow bert-language-model
schedule 01.06.2022
Могу ли я использовать BERT в качестве средства извлечения функций без какой-либо тонкой настройки моего конкретного набора данных?
Я пытаюсь решить задачу многокомпонентной классификации из 10 классов с относительно сбалансированным обучающим набором, состоящим из ~ 25K образцов, а оценочный набор состоит из ~ 5K образцов. Я использую обнимающееся лицо: model =...
734 просмотров
pytorch huggingface-transformers bert-language-model
schedule 28.04.2022
Как я могу получить все выходные данные последнего кодировщика трансформатора в предварительно обученной модели Bert, а не только выход токена cls?
Я использую pytorch, и это модель из ссылка : from transformers import BertTokenizerFast, BertForSequenceClassification bert = BertForSequenceClassification.from_pretrained("bert-base-uncased",...
820 просмотров
pytorch neural-network huggingface-transformers bert-language-model text-classification
schedule 09.07.2023
BERT DataLoader: разница между shuffle = True и Sampler?
Я обучил модель DistilBERT с помощью DistilBertForTokenClassification на данных ConLL для прогнозирования NER. Кажется, что обучение завершилось без проблем, но на этапе оценки у меня возникли 2 проблемы. У меня отрицательная сумма убытка...
82 просмотров
python pytorch huggingface-transformers bert-language-model
schedule 04.08.2022
Функция Pytorch Loss для создания подобных вложений
Я работаю над моделью встраивания, где есть модель BERT, которая принимает текстовые входы и выводит многомерный вектор. Цель модели - найти похожие вложения (высокое косинусное сходство) для похожих текстов и разные вложения (низкое косинусное...
514 просмотров
pytorch tensor embedding bert-language-model loss
schedule 31.03.2022
Как использовать предварительно обученный вектор встраивания слов BERT для точной настройки (инициализации) других сетей?
Когда я занимался классификацией с помощью textcnn, у меня был опыт тонкой настройки textcnn с использованием предварительно обученного встраивания слов с помощью Word2Vec и fasttext. И я использую этот процесс: Создайте слой встраивания в...
356 просмотров
pytorch machine-learning nlp conv-neural-network bert-language-model
schedule 29.04.2022