Я пытаюсь понять, что означает файл merge.txt в токенизаторах для модели RoBERTa в библиотеке HuggingFace. Однако на их сайте об этом ничего не говорится. Любая помощь приветствуется.
Что означает файл merge.txt в моделях на основе BERT в библиотеке HuggingFace?
Ответы (1)
Вы можете найти описание здесь:
https://github.com/huggingface/transformers/issues/4777
https://github.com/huggingface/transformers/issues/1083#issuecomment-524303077
person
Oleg Dats
schedule
18.08.2020
