Простой обзор RNN, LSTM и механизма внимания

От RNN к LSTM

Предположим, что RNN может запомнить хотя бы последний шаг в последовательности слов.

Наш набор данных предложений:

Собака пугает кошку.
Кошка пугает мышь.
Мышь пугает собаку.

В начале ввод RNN будет пустым токеном для начала каждого предложения (для слов Dog, Cat и Mouse).

Модель RNN видит каждое из этих слов, за которым следуют пугает и . (точка) после этого для каждого предложения.

Если мы попытаемся предсказать слова в предложениях, предсказания могут принять даже такую ​​форму из-за двусмысленности:

‹Empty› Собака пугает собаку.

‹Empty› Мышь пугает кошку.

‹Empty› Мышь пугает Кошка пугает Собаку.

Что НЕ имеет никакого смысла, поскольку предыдущий контекст не играет никакой роли в выборе следующего подходящего слова.

Основные идеи LSTM:

Перво-наперво: обозначения!

Обозначения, используемые для объяснения LSTM

Основным компонентом, который делает LSTM популярными, является наличие состояния/вектора ячейки для каждого узла LSTM, который передается каждому узлу в цепочке.

Состояние/вектор ячейки, работающий поверх ячейки LSTM

Это состояние ячейки может быть изменено, если это необходимо, с линейными математическими взаимодействиями в каждом узле в зависимости от изученного поведения, регулируемого другими внутренними компонентами. Проще говоря, эти внутренние компоненты, известные как ворота с функциями активации, могут добавлять или удалять информацию о состоянии клетки, тем самым помогая продвигать релевантную (иногда измененную) информацию.

Простой RNN имеет простую NN сам по себе, действующий как единственные ворота для некоторых манипуляций с данными, однако LSTM имеет более сложную внутреннюю структуру из 4 ворот.

ПРИМЕЧАНИЕ. В LSTM есть возможность удалять или добавлять информацию о состоянии ячейки, тщательно регулируемую структурами, называемыми вентилями, что делает их по своей сути лучше, чем простые RNN.

Цепь LSTM из 3 узлов и изображение внутренней структуры

Ворота позволяют опционально изменять и пропускать информацию. Для этого внутри используются сигмовидные и танские ворота.

Прежде чем мы рассмотрим пошаговую работу с ячейкой LSTM, давайте посмотрим, что такое функции активации Sigmoid и Tanh:

Активация сигмовидной кишки:

Сигмоид помогает раздавить входящие значения между 0 и 1 ([0, 1]). Это используется в сочетании с другим компонентом, чтобы остановить (если 0) или разрешить (1) входящую информацию.

Сигмоид сжимает входные значения

Активация Тан:

С другой стороны, Tanh помогает сжимать значения в диапазоне от -1 до +1.

Это помогает добавлять или удалять данные с -1 и +1 соответственно.

Эти функции активации также помогают обуздать выходы, которые в противном случае просто взорвались бы после последовательных умножений по цепочке.

Внутренняя работа LSTM 🧐

Шаг 1. Решите, что сохранить, а что ЗАБЫТЬ.

Первым делом нужно решить, что вообще следует забыть из состояния ячейки. Чтобы решить эту проблему, в слое забытых ворот используется сигмоид. Как объяснялось ранее, сигмоид помогает выводить значения в закрытом диапазоне [0,1]. Здесь 0 означает «полностью удалить», а 1 означает «сохранить информацию как есть».

Ворота забывания смотрят на hₜ₋₁ и xₜ и выводят число от 0 до 1 для каждого числа. в состоянии ячейки Cₜ₋₁.

Забыть слой ворот

Шаг 2.Какую новую информацию добавить обратно

Второй шаг включает в себя решение, какие новые данные должны быть добавлены обратно в состояние ячейки. Это включает в себя 2 части и используются в сочетании.

a)Сигмовидный вентильный слой решает, что именно нужно изменить (с диапазоном от 0 до 1)

b) Слой ворот Tanh создает значения-кандидаты, которые можно добавить к состоянию ячейки (с диапазоном от -1 до +1).

Sigmoid и Tanh решают, чем и в какой степени манипулировать на уровне входных ворот.

Шаг 3.Действительно обновить состояние ячейки с помощью информации, полученной на шагах 1 и 2.

Этот шаг включает в себя манипулирование входящим состоянием ячейки Cₜ₋₁, чтобы отразить решения из слоев забывания (шаг 1) и входных ворот (шаг 2) с помощью поточечного умножения. и дополнение соответственно.

выполнение вычислений для фактического обновления состояния ячейки

Здесь fₜзначит точечное умножение на Cₜ₋₁чтобы забыть информация из вектора контекста и iₜ * Cₜэто новые значения-кандидаты, масштабированные по степени необходимости их обновления.

Шаг 4.Каков результат

Расчеты выходных ворот

Результатом является модифицированная версия состояния ячейки. Для этой сигмоиды решает, какую часть необходимо изменить, которая умножается на вывод после Tanh (используется для масштабирования), что приводит к выводу скрытого состояния.

RNN и LSTM широко использовались для обработки и понимания последовательных данных. Обычный подход — архитектура кодер-декодер для задач seq2seq.

Модели последовательности к последовательности (seq2seq) в НЛП используются для преобразования последовательностей типа A в последовательности типа B. Например, перевод английских предложений в немецкие предложения представляет собой преобразование последовательности в -задача последовательности.

Кодер имеет входную последовательность x1, x2, x3, x4. Мы обозначаем состояния кодировщика как c1, c2, c3. Кодер выводит один выходной вектор c, который передается в качестве входных данных декодеру. Как и кодировщик, декодер также является одноуровневой RNN, мы обозначаем состояния декодера как s1, s2, s3, а вывод сети — как у1, у2, у3, у4.

Механизм внимания: Супергерой! Но почему? 🤔

основной вопрос для (пере)рассмотрения — что именно требуется от RNN и LSTM (в архитектуре кодер-декодер): текущий узел или состояние имеет доступ к информации для всех входных данных, просмотренных до сих пор. (т. е. информация, текущая от t₀ до t-₁, доступна в некоторых измененных/ частичная форма для состояния на временном шаге t), поэтому конечное состояние RNN (лучше сказать кодировщик) должно содержать информацию для всего последовательность ввода.

Простое представление традиционной архитектуры кодировщика-декодера с использованием RNN/LSTM.

Основной недостаток этой архитектуры заключается в том, что на этапе кодирования необходимо представить всю входную последовательность x1, x2, x3, x4 как единый вектор c, который может привести к потере информации, так как вся информация должна быть сжата в c . Более того, декодер должен расшифровать переданную информацию только из этого единственного вектора, сама по себе очень сложная задача.

И именно здесь быстро устанавливается верхняя граница потенциала понимания модели, а также производительности, поскольку это может быть слишком многого, чтобы требовать от простых кодировщиков и декодеров для последовательной обработки длинных данных. входные последовательности.

Механизм внимания для моделирования последовательности был впервые использован в статье: хотя понятие «внимание» тогда не было так известно, и это слово редко использовалось в самой статье.

Как поясняется в статье [1]

Потенциальная проблема с этим подходом кодировщик-декодер заключается в том, что нейронная сеть должна иметь возможность сжимать всю необходимую информацию исходного предложения в вектор фиксированной длины. Это может затруднить работу нейронной сети с длинными предложениями, особенно с теми, которые длиннее предложений в обучающем корпусе.

Механизм внимания помогает просматривать все скрытые состояния из последовательности кодировщика для создания прогнозов, в отличие от стандартного подхода кодировщик-декодер.

Простые и основанные на внимании архитектуры кодировщика-декодера

Объяснение разницы на предыдущем изображении: В простой архитектуре кодировщик-декодер предполагается, что декодер начинает делать прогнозы, просматривая только конечный результат. шага кодировщика с сжатой информацией. С другой стороны, архитектура на основе внимания отслеживает каждое скрытое состояние от каждого кодировщика узел на каждом временном шаге и затем делает прогнозы после того, как решит, какой из них более информативен.

Подождите!!

Но как он решает, какие состояния более или менее полезны для каждого прогноза на каждом временном шаге декодера?

Решение.Используйте нейронную сеть, чтобы «узнать», какие состояния скрытого кодировщика «обслуживать» и в какой степени.