DQN - Q-Loss не сходится

Да, убыток должен покрывать, потому что значение убытка означает разницу между ожидаемым значением Q и текущим значением Q. Только когда значение потерь сходится, ток приближается к оптимальному значению Q. Если он расходится, это означает, что ваше приближенное значение становится все менее и менее точным.

Возможно, вы можете попробовать настроить частоту обновления целевой сети или проверить градиент каждого обновления (добавить отсечение градиента). Добавление целевой сети увеличивает стабильность Q-обучения.

В статье Deepmind Nature 2015 года говорится, что:

Вторая модификация онлайн-Q-обучения, направленная на дальнейшее повышение стабильности нашего метода с нейронными сетями, заключается в использовании отдельной сети для генерации трагеты yj в обновлении Q-обучения. Точнее, при каждом обновлении C мы клонируем сеть Q для получения целевой сети Q 'и используем Q' для генерации целей Q-обучения y _j для следующих обновлений C для Q. Эта модификация делает алгоритм более стабилен по сравнению со стандартным интерактивным Q-обучением, где обновление, которое увеличивает Q (s _t, a _t), часто также увеличивает Q (s _{t + 1} , a) для всех a и, следовательно, также увеличивает целевой y _j, что может привести к колебаниям или расхождению в политике. Генерация целей с использованием старого набора параметров добавляет задержку между моментом обновления Q и моментом, когда обновление влияет на цели y _j, делая расхождение или колебания гораздо более маловероятными.

Контроль на уровне человека посредством глубокого обучения с подкреплением, Mnih et al., 2015

Я провел эксперимент для другого человека, который задавал аналогичные вопросы в среде Cartpole, и частота обновления 100 решает проблему (достигается максимум 200 шагов).

Когда C (частота обновления) = 2, график средней потери:

C = 10

C = 100

C = 1000

C = 10000

Если расхождение значений потерь вызвано разнесением градиента, вы можете обрезать градиент. В DQN Deepmind 2015 автор обрезал градиент, ограничив значение в пределах [-1, 1]. В другом случае автор Prioritized Experience Replay обрезает градиент, ограничивая норму в пределах 10. Здесь вот примеры:

Отсечение градиента DQN:

    optimizer.zero_grad()
    loss.backward()
    for param in model.parameters():
        param.grad.data.clamp_(-1, 1)
    optimizer.step()

PER градиентное отсечение:

    optimizer.zero_grad()
    loss.backward()
    if self.grad_norm_clipping:
       torch.nn.utils.clip_grad.clip_grad_norm_(self.model.parameters(), 10)
   optimizer.step()

Я думаю, это нормально, что Q-потери не сходятся, поскольку ваши данные постоянно меняются при обновлении политики. Это не то же самое, что обучение с учителем, когда ваши данные никогда не меняются, и вы можете выполнить несколько проходов по своим данным, чтобы убедиться, что ваши веса хорошо соответствуют этим данным.

Другое дело, что я обнаружил, что небольшое обновление целевой сети на каждом временном шаге (мягкое обновление) сработало для меня лучше, чем обновление его на каждом временном шаге X (жесткое обновление).