Вопросы по теме 'huggingface-transformers'

Не удалось сохранить модель tf.keras с классификатором Bert (huggingface)
Я обучаю бинарный классификатор, который использует Берта (обнимающее лицо). Модель выглядит так: def get_model(lr=0.00001): inp_bert = Input(shape=(512), dtype="int32") bert =...
1050 просмотров
python tensorflow2.0 huggingface-transformers
schedule 25.01.2023
Токенизатор BERT и загрузка модели
Я новичок .. Я работаю с Бертом. Однако из-за безопасности сети компании следующий код не получает напрямую модель bert. tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased', do_lower_case=False) model =...
11948 просмотров
github python pytorch huggingface-transformers bert-language-model
schedule 20.09.2023
получение кодировок на уровне слов из кодировок токенов вложенных слов
Я изучаю использование предварительно обученной модели BERT ('bert-base-uncased') для извлечения контекстуализированных кодировок на уровне слов из группы предложений. Обозначение словесных элементов разбивает некоторые слова в моем вводе на...
243 просмотров
nlp tokenize huggingface-transformers bert-language-model
schedule 02.03.2022
Как именно должен быть отформатирован входной файл для тонкой настройки языковой модели (BERT через Huggingface Transformers)?
Я хотел использовать examples/run_lm_finetuning.py из репозитория Huggingface Transformers на предварительно обученной модели Берта. Однако из документации не очевидно, как должен быть структурирован файл корпуса (кроме ссылки на набор данных...
4125 просмотров
python pytorch huggingface-transformers bert-language-model
schedule 02.06.2023
Как я могу реализовать простой ответ на вопросы с помощью обнимающего лица?
У меня есть: from transformers import XLNetTokenizer, XLNetForQuestionAnswering import torch tokenizer = XLNetTokenizer.from_pretrained('xlnet-base-cased') model = XLNetForQuestionAnswering.from_pretrained('xlnet-base-cased') input_ids =...
231 просмотров
python pytorch huggingface-transformers
schedule 18.10.2023
Запутался в документации трансформаторов
Я читаю документацию библиотеки трансформатора из huggingface, и меня немного смущает прямой вывод BertModel. В документах указано, что есть два вывода (и два дополнительных), которые: последнее скрытое состояние объединенный вывод и в...
85 просмотров
python-3.x huggingface-transformers
schedule 24.05.2022
Тонкая настройка предварительно обученной языковой модели с помощью Simple Transformers
В своей статье «Тонкая настройка языковой модели для предварительно обученных трансформеров» Тилина Раджапаксе ( https://medium.com/skilai/language-model-fine-tuning-for-pre-trained-transformers-b7262774a7ee)rel= ) предоставляет следующий фрагмент...
873 просмотров
python-3.x simpletransformers huggingface-transformers language-model
schedule 13.12.2022
HuggingFace BERT `inputs_embeds` дает неожиданный результат
Реализация TensorFlow HuggingFace BERT позволяет нам использовать предварительно вычисленное встраивание вместо встроенный поиск, свойственный BERT. Это делается с помощью необязательного параметра inputs_embeds метода call модели (вместо...
863 просмотров
python tensorflow nlp huggingface-transformers bert-language-model
schedule 07.10.2022
Как получить вероятность конкретного токена (слова) в предложении с учетом контекста
Я пытаюсь вычислить вероятность или любой тип оценки слов в предложении с помощью НЛП. Я пробовал этот подход с моделью GPT2, используя библиотеку Huggingface Transformers, но я не смог получить удовлетворительных результатов из-за однонаправленного...
1489 просмотров
pytorch nlp huggingface-transformers bert-language-model
schedule 03.02.2022
Что означает файл merge.txt в моделях на основе BERT в библиотеке HuggingFace?
Я пытаюсь понять, что означает файл merge.txt в токенизаторах для модели RoBERTa в библиотеке HuggingFace. Однако на их сайте об этом ничего не говорится. Любая помощь приветствуется.
349 просмотров
nlp tokenize huggingface-transformers bert-language-model
schedule 12.05.2023
Как с помощью преобразователя HuggingFace я могу вернуть несколько образцов при генерации текста?
Я ухожу с https://github.com/cortexlabs/cortex/blob/master/examples/pytorch/text-generator/predictor.py Но если я прохожу num_samples=5 , я получаю: generated = torch.cat((generated, next_token.unsqueeze(0)), dim=1) RuntimeError: Sizes...
620 просмотров
python pytorch huggingface-transformers
schedule 27.03.2022
Сохраняйте только лучшие веса с трансформаторами huggingface
В настоящее время я создаю новую модель на основе трансформатора с huggingface-transformers, где уровень внимания отличается от исходного. Я использовал run_glue.py , чтобы проверить производительность моей модели на тесте GLUE. Тем не менее, я...
2534 просмотров
pytorch nlp deep-learning huggingface-transformers
schedule 30.10.2023
Ошибка Pytorch RuntimeError: индекс вне диапазона: попытка доступа к индексу 512 вне таблицы с 511 строками
У меня есть предложения, которые я векторизую с помощью метода scheme_vector () модуля Python BiobertEmbedding ( https://pypi.org/project/biobert-embedding/ ). Для некоторых групп предложений у меня нет проблем, но для некоторых других у меня...
1841 просмотров
python-3.x pytorch vectorization huggingface-transformers word-embedding
schedule 16.03.2024
ImportError: невозможно импортировать имя hf_bucket_url в HuggingFace Transformers
Итак, я установил последнюю версию трансформеров на Google Colab. !pip install transformers При попытке вызвать файл преобразования с помощью !python /usr/local/lib/python3.6/dist-packages/transformers/convert_pytorch_checkpoint_to_tf2.py...
412 просмотров
pytorch tensorflow huggingface-transformers
schedule 16.01.2024
Tensorflow BERT для классификации токенов - исключите токены падов из точности при обучении и тестировании
Я делаю классификацию на основе токенов, используя предварительно обученную BERT-модель для tenorflow, чтобы автоматически отмечать причины и следствия в предложениях. Для доступа к BERT я использую интерфейс TFBertForTokenClassification из...
1834 просмотров
python tensorflow named-entity-recognition huggingface-transformers bert-language-model
schedule 09.03.2022
Как я могу получить оценку в конвейере вопросов и ответов? Есть ли ошибка при использовании конвейера вопрос-ответ?
Когда я запускаю следующий код from transformers import AutoTokenizer, AutoModelForQuestionAnswering import torch tokenizer = AutoTokenizer.from_pretrained("bert-large-uncased-whole-word-masking-finetuned-squad") model =...
301 просмотров
huggingface-transformers
schedule 21.08.2022
Как обучить модель Huggingface TFT5ForConditionalGeneration?
Мой код выглядит следующим образом: batch_size=8 sequence_length=25 vocab_size=100 import tensorflow as tf from transformers import T5Config, TFT5ForConditionalGeneration configT5 = T5Config( vocab_size=vocab_size, d_ff =512, ) model =...
140 просмотров
tensorflow huggingface-transformers
schedule 08.06.2022
Токены, возвращенные в трансформаторной модели Берта из encode ()
У меня есть небольшой набор данных для анализа настроений. Классификатор будет простым KNN, но я хотел получить слово «встраивание» с моделью Bert из библиотеки transformers . Обратите внимание, что я только что узнал об этой библиотеке - я все...
1026 просмотров
python machine-learning nlp huggingface-transformers bert-language-model
schedule 04.11.2022
Последние слои лонгформера для встраивания документов
Как правильно вернуть ограниченное количество слоев с помощью API longformer? В отличие от этого случая в базовом BERT мне не ясно из возвращаемого типа, как получить только последние N слоев. Итак, я запускаю это: from transformers import...
529 просмотров
huggingface-transformers word-embedding
schedule 16.08.2022
Каталог моделей трубопроводов трансформаторов
Я использую функцию конвейера Transformers Huggingface, чтобы загрузить модель и токенизатор, мой ПК с Windows загрузил их, но я не знаю, где они хранятся на моем ПК. Не могли бы вы мне помочь? from transformers import pipeline qa_pipeline =...
170 просмотров
python-3.x python pipeline huggingface-transformers bert-language-model
schedule 10.12.2023