Исследование взаимодействия между компьютерами и человеческими (естественными) языками известно как обработка естественного языка (НЛП). В исследованиях НЛП центральное место обычно занимает обучение с учителем, при котором модель обучается на наборе размеченных данных. Однако сбор помеченных данных может быть дорогостоящим и трудоемким, что ограничивает масштабируемость моделей НЛП.
Самообучение – это тип машинного обучения, не требующий размеченных данных. Вместо этого модель учится на немаркированных данных, создавая свои собственные метки. Это можно сделать путем создания задач, которые требуют, чтобы модель делала выводы о данных. Например, модель НЛП с самоконтролем может быть обучена предсказывать следующее слово в предложении или определять, являются ли два предложения семантически эквивалентными.
В статье исследователей из Google AI «Подход к обучению с самоконтролем к обработке естественного языка» предлагается новый подход к обучению с самоконтролем для НЛП. Подход основан на идее моделирования замаскированного языка. При моделировании языка в масках модель обучается предсказывать слова, которые были замаскированы из предложения. Это заставляет модель изучать взаимосвязи между словами, что можно использовать для повышения производительности модели при выполнении последующих задач, таких как классификация текста и ответы на вопросы.
Авторы статьи оценили свой подход к различным задачам НЛП и обнаружили, что он превосходит предыдущие подходы к обучению с самоконтролем. Они также обнаружили, что этот подход позволил изучить представления, более устойчивые к шуму и другим искажениям.
Результаты этой статьи показывают, что обучение с самоконтролем является многообещающим подходом к НЛП. Однако у этого подхода все еще имеются некоторые ограничения. Одним из ограничений является то, что обучение моделей самоконтролируемого обучения может быть дорогостоящим в вычислительном отношении. Еще одним ограничением является то, что модели обучения с самоконтролем могут быть чувствительны к выбору стратегии маскировки.
Несмотря на эти ограничения, обучение с самоконтролем является многообещающим подходом к НЛП и, вероятно, будет играть все более важную роль в будущем этой области.
Математика, лежащая в основе подхода
Математика, лежащая в основе подхода к обучению с самоконтролем, предложенного в статье, относительно проста. Модель представляет собой нейронную сеть, обученную предсказывать слова, замаскированные из предложения. Функция потерь для модели — это перекрестная энтропийная потеря, которая является мерой разницы между предсказанными словами и словами, являющимися основной истиной.
Модель обучается с использованием стохастического градиентного спуска, который представляет собой алгоритм итеративной оптимизации. На каждой итерации параметры модели обновляются, чтобы минимизировать функцию потерь.
Стратегия маскировки является важнейшим компонентом подхода к обучению с самоконтролем. Авторы статьи использовали различные стратегии маскировки, включая случайную маскировку, непрерывную маскировку и моделирование языка в масках.
Случайное маскирование предполагает случайное маскирование определенного процента слов в предложении. Непрерывное маскирование предполагает маскирование смежных последовательностей слов. Моделирование языка в масках включает в себя маскирование одного слова в предложении и последующее предсказание этого слова.
Выбор стратегии маскировки может повлиять на производительность модели. Авторы статьи обнаружили, что моделирование языка в масках является наиболее эффективной стратегией маскировки.
Заключение
Подход к обучению с самоконтролем, предложенный в статье, является многообещающим подходом для НЛП. Этот подход является вычислительно эффективным и позволяет изучать представления, устойчивые к шуму и другим искажениям. Однако у этого подхода все еще есть некоторые ограничения, такие как необходимость в большом объеме немаркированных данных.
Несмотря на эти ограничения, обучение с самоконтролем является многообещающим подходом к НЛП и, вероятно, будет играть все более важную роль в будущем этой области.
