сомнения относительно размера партии и временных шагов в RNN

Размер пакета относится к количеству обучающих выборок, которые следует учитывать одновременно для обновления весов вашей сети. Итак, в сети с прямой связью, допустим, вы хотите обновить веса вашей сети на основе вычисления градиентов по одному слову за раз, ваш batch_size = 1. Поскольку градиенты вычисляются из одного образца, это очень дешево в вычислительном отношении. С другой стороны, это тоже очень беспорядочная тренировка.

Чтобы понять, что происходит во время обучения такой сети прямого распространения, я отсылаю вас к этому очень хороший наглядный пример обучения single_batch по сравнению с mini_batch и single_sample.

Однако вы хотите понять, что происходит с вашей переменной num_steps. Это не то же самое, что ваш batch_size. Как вы могли заметить, до сих пор я говорил о сетях прямого распространения. В сети с прямой связью выход определяется из входных данных сети, а отношение вход-выход отображается с помощью изученных сетевых отношений:

hidden_activations (t) = f (ввод (t))

output (t) = g (hidden_activations (t)) = g (f (input (t)))

После обучающего прохода размером batch_size вычисляется градиент вашей функции потерь по каждому из параметров сети, и ваши веса обновляются.

Однако в рекуррентной нейронной сети (RNN) ваша сеть работает немного иначе:

hidden_activations (t) = f (input (t), hidden_activations (t-1))

output (t) = g (hidden_activations (t)) = g (f (input (t), hidden_activations (t-1)))

= g (f (ввод (t), f (ввод (t-1), hidden_activations (t-2)))) = g (f (inp (t), f (inp (t-1), ..., f (inp (t = 0), hidden_initial_state))))

Как вы, возможно, догадались из смысла именования, сеть сохраняет память о своем предыдущем состоянии, и активация нейронов теперь также зависит от предыдущего состояния сети и, соответственно, от всех состояний, в которых когда-либо находилась сеть. Большинство RNN используйте фактор забывчивости, чтобы придать большее значение более поздним состояниям сети, но это не является предметом вашего вопроса.

Затем, как вы можете предположить, вычисление градиентов функции потерь относительно сетевых параметров является очень и очень затратным с точки зрения вычислений, если вам нужно учитывать обратное распространение через все состояния с момента создания вашей сети, есть небольшая хитрость, чтобы ускорить вычисления: аппроксимировать градиенты с помощью подмножества исторических состояний сети num_steps.

Если это концептуальное обсуждение не было достаточно ясным, вы также можете взглянуть на более математическое описание вышеперечисленного.

Я нашел эту диаграмму, которая помогла мне визуализировать структуру данных.

На изображении «размер партии» - это количество примеров последовательности, с которой вы хотите обучить свою RNN для этой партии. «Значения на временной шаг» - это ваши входные данные ». (в моем случае моя RNN принимает 6 входов) и, наконец, ваши временные шаги - это, так сказать, `` длина '' последовательности, которую вы тренируете.

Я также изучаю повторяющиеся нейронные сети и то, как готовить партии для одного из моих проектов (и наткнулся на эту ветку, пытаясь понять это).

Пакетная обработка для прямых и повторяющихся сетей немного отличается, и при просмотре разных форумов терминология для обоих становится очень запутанной, поэтому ее визуализация чрезвычайно полезна.

Надеюсь это поможет.

1. «Размер пакета» RNN предназначен для ускорения вычислений (поскольку есть несколько полос в параллельных вычислительных модулях); это не мини-пакет для обратного распространения ошибки. Простой способ доказать это - поиграть с разными значениями размера пакета, ячейка RNN с размером пакета = 4 может быть примерно в 4 раза быстрее, чем ячейка с размером пакета = 1, и их потери обычно очень близки.

2. Что касается «временных шагов» RNN, давайте рассмотрим следующие фрагменты кода из rnn.py. static_rnn () вызывает ячейку для каждого input_ за раз, а BasicRNNCell :: call () реализует свою логику прямой части. В случае предсказания текста, скажем, размер пакета = 8, мы можем думать, что input_ here - это 8 слов из разных предложений в большом текстовом корпусе, а не 8 последовательных слов в предложении. По моему опыту, мы определяем ценность временных шагов в зависимости от того, насколько глубоко мы хотели бы моделировать «во времени» или «последовательной зависимости». Опять же, чтобы предсказать следующее слово в текстовом корпусе с помощью BasicRNNCell, небольшие временные шаги могут работать. С другой стороны, большой размер временного шага может вызвать проблему взрыва градиента.

   def static_rnn(cell,
          inputs,
          initial_state=None,
          dtype=None,
          sequence_length=None,
          scope=None):
   """Creates a recurrent neural network specified by RNNCell `cell`.
      The simplest form of RNN network generated is:
   
      state = cell.zero_state(...)
      outputs = []
      for input_ in inputs:
          output, state = cell(input_, state)
      outputs.append(output)
      return (outputs, state)
   """
   
   class BasicRNNCell(_LayerRNNCell):
   def call(self, inputs, state):
   """Most basic RNN: output = new_state = 
      act(W * input + U * state + B).
   """
       gate_inputs = math_ops.matmul(
           array_ops.concat([inputs, state], 1), self._kernel)
       gate_inputs = nn_ops.bias_add(gate_inputs, self._bias)
       output = self._activation(gate_inputs)
       return output, output
   

3. Чтобы наглядно представить, как эти два параметра связаны с набором данных и весами, Эрика Халлстрёма стоит прочитать. Из этой диаграммы и приведенных выше фрагментов кода очевидно, что "размер пакета" RNN не будет влияют на веса (wa, wb и b), но влияют на "временные шаги". Таким образом, можно определить «временные шаги» RNN на основе их проблемы и сетевой модели, а также «размера пакета» RNN на основе вычислительной платформы и набора данных.