Вопросы по теме 'transformer'

сохранение и анализ xml: org.xml.sax.SAXParseException: содержимое не разрешено в прологе
Я обрабатываю файл XML с помощью java. Если я обработаю файл xml один раз, это нормально. Всегда успешно делается. Но если я обрабатываю xml-файл более двух раз (сохранить-прочитать-сохранить), всегда получаю такую ​​​​ошибку....
1697 просмотров
schedule 27.02.2022

Mule XSLT Transformer добавляет пространство имен после преобразования
Вопрос: я пытаюсь добавить uuid в качестве нового элемента во входящее сообщение xml. Я вижу, что это добавлено, когда я регистрирую результат, но мул добавляет к результату свое пространство имен и пространство имен java util uuid, что вызывает...
1398 просмотров
schedule 11.05.2024

Лига\Фрактальное преобразование элемента внутри массива
нужна небольшая помощь с League\Fractal, я пытаюсь создать объект для имитации FeatureCollection из GoogleMapApi DataLayer FeatureCollection + type + features => [ Feature { type, geometry => { type,...
926 просмотров
schedule 22.12.2023

Sklearn Pipeline: передать параметр пользовательскому преобразователю?
У меня есть собственный Transformer в моем конвейере sklearn , и мне интересно, как передать параметр моему Transformer: В приведенном ниже коде вы можете видеть, что я использую словарь «вес» в своем Transformer. Я хочу не определять этот...
2353 просмотров
schedule 09.05.2024

Размер позиционного кодирования в учебнике по тензорному потоку
Я пытаюсь понять и поиграть с этим учебником по тензорному потоку об архитектуре трансформатора и нахожу то, чего не понимаю в Class Decoder. Почему self.pos_encoding = positional_encoding (target_vocab_size, self.d_model) вызывается с...
439 просмотров
schedule 17.05.2022

слой встраивания выводит nan
Я пытаюсь изучить модель seq2seq. Слой внедрения находится в кодировщике и иногда после некоторых итераций выводит значение nan. Я не могу определить причину. Как я могу это решить ?? Проблема заключается в первом emb_layer в функции forward в...
950 просмотров

Что противоположно промежуточному ПО в Laravel?
Промежуточное ПО в Laravel можно использовать для добавления логики приложения (или специфичной для определенных маршрутов или групп маршрутов) до применения какой-либо прикладной/бизнес-логики. Я хочу сделать то же самое, но после выполнения...
373 просмотров
schedule 11.02.2023

Почему можно добавить три вложения Берта?
Я уже знаю значение встраивания токенов, встраивания сегментов и встраивания позиций. Но почему эти три вектора можно сложить вместе? Размер и направление векторов изменятся после сложения, а также изменится семантика слова. (Это тот же вопрос для...
373 просмотров

Как интерпретировать числа P, которые генерирует Fairseq?
Используя Fairseq-generate.py с архитектурой трансформатора, каждый перевод создает такой раздел: Why is it rare to discover new marine mammal species? S-0 Why is it rare to discover new marine mam@@ mal species ? H-0 -0.0643349438905716...
487 просмотров
schedule 05.06.2024

Требуется ли позиционное кодирование для преобразования в языковом моделировании?
Я разрабатываю языковую модель, например https://pytorch.org/tutorials/beginner/transformer_tutorial.html . Мне непонятно - нужна ли здесь позиционная кодировка? Насколько я понимаю, это необходимо для задачи языкового перевода, потому что...
527 просмотров
schedule 20.03.2024

Как модель трансформатора вычисляет самовнимание?
В модели трансформатора https://arxiv.org/pdf/1706.03762.pdf есть самовнимание, которое вычисляется с помощью softmax на векторах Query (Q) и Key (K) : Я пытаюсь понять умножение матриц: Q = batch_size x seq_length x embed_size K =...
211 просмотров

Как получить встраивание слов для слов вне словарного запаса с помощью модели-трансформера?
Когда я попытался получить вложения слов в предложение с помощью bio_clinical bert, для предложения из 8 слов я получил 11 идентификаторов токенов (+ начало и конец), потому что вложения - это слово / токен вне словарного запаса, который разбивается...
403 просмотров