Количество значений Q для сети глубокого обучения с подкреплением

Нет общего принципа, что такое «слишком много». Все зависит исключительно от проблемы и производительности, которую можно получить в обучении. В частности, количество действий не должно иметь значения, если внутренняя параметризация Q(a, s) эффективна. В качестве примера давайте предположим, что нейронная сеть на самом деле имеет форму NN(a, s) = Q(a, s), другими словами, она принимает действие как вход вместе с состоянием, и выводит значение Q. Если такую ​​архитектуру можно обучить решению рассматриваемой проблемы, она сможет масштабироваться до больших пространств действий; с другой стороны, если нейронная сеть в основном имеет независимый вывод для каждого действия, что-то в форме NN (s) [a] = Q (a, s), тогда многие действия могут привести к относительно разреженный обучающий сигнал для модели и, следовательно, привести к медленному конвергенция.

Поскольку вы спрашиваете об уменьшении пространства действия, похоже, что истинная проблема имеет сложный контроль (может быть, это непрерывная область управления?), и вы ищете некоторую дискретность, чтобы упростить изучение. В этом случае вам придется следовать типичному подходу проб и ошибок — пробовать с простым пространством действий, наблюдать за динамикой, а если результаты неудовлетворительны — усложнять задачу. Это позволяет вносить итеративные улучшения, в отличие от движения в противоположном направлении - начиная со слишком сложных настроек, чтобы получить какие-либо результаты, а затем уменьшая их, не зная, каковы «разумные значения».