Я учусь на курсе под названием «Интеллектуальные машины» в университете. Нас познакомили с 3 методами усиленного обучения, и с ними нам дали интуицию, когда их использовать, и я цитирую:
Есть ли хорошие примеры, объясняющие, когда следует предпочесть один метод другому?
Временная разница — это подход к обучению тому, как предсказывать величину, которая зависит от будущих значений заданный сигнал. Его можно использовать для изучения как V-функции, так и Q-функции, тогда как Q-обучение — это специальный алгоритм TD, используемый для изучения Q-функции. Как сказал Дон Реба, вам нужна Q-функция для выполнения действия (например, следуя эпсилон-жадной политике). Если у вас есть только V-функция, вы все равно можете получить Q-функцию, перебирая все возможные следующие состояния и выбирая действие, которое приведет вас к состоянию с самым высоким значением V. В качестве примеров и дополнительной информации я рекомендую классическую книгу Саттона и Барто.
В безмодельном RL вы не изучаете функцию перехода состояния (модель) и можете полагаться только на примеры. Тем не менее, вам также может быть интересно изучить его, например, потому что вы не можете собрать много образцов и хотите сгенерировать несколько виртуальных. В этом случае мы говорим о основанном на модели RL. RL на основе моделей довольно распространен в робототехнике, где вы не можете выполнять много реальных симуляций, иначе робот сломается. Это хороший обзор со множеством примеров (но он говорит только об алгоритмах поиска политик). В качестве другого примера см. эту статью. . Здесь авторы изучают - наряду с политикой - гауссовский процесс для аппроксимации прямой модели робота, чтобы смоделировать траектории и уменьшить количество реальных взаимодействий робота.
