Google Cloud ML: как я могу обеспечить чистый поиск по сетке для задания настройки гиперпараметров

Google Cloud ML использует байесовскую оптимизацию, чтобы смягчить проклятие размерности. В определенных ситуациях у меня есть задания по настройке гиперпараметров, в которых я хочу принудительно выполнить исчерпывающий поиск по сетке гиперпараметров в задании по настройке гиперпараметров. Как я могу это сделать?

Моя мотивация для применения чистого поиска по сетке заключается в следующем: я заметил, что задание по настройке гиперпараметров для гиперпараметров, которые относятся исключительно к типу DISCRETE, оценивает одну и ту же комбинацию гиперпараметров более одного раза, что мне не нужно. Я подозреваю, что это связано с использованием байесовской оптимизации. Вот почему я хотел бы применить чистый поиск по сетке для этих случаев.


person Benjamin Trendelkamp-Schroer    schedule 19.01.2018    source источник
comment
Ваши рабочие места делают распределенное обучение? Или каждое учебное задание - это отдельная машина?   -  person rhaertel80    schedule 19.01.2018


Ответы (1)


В настоящее время недоступен аргумент для принудительного поиска по сетке.

Лучшим обходным решением в настоящее время, вероятно, является отправка нескольких заданий с определенными гиперпараметрами, установленными для каждого из них. Это можно сделать без изменения кода, поскольку вы можете указать значения в качестве аргументов командной строки пользователя. Вы должны иметь возможность отправлять все задания в цикле, и Google Cloud ML поставит их в очередь, если их слишком много для одновременного запуска. Обратной стороной является то, что вам придется выяснить, что лучше.

person Chris Meyers    schedule 19.01.2018
comment
Я понимаю. Спасибо что подметил это. Это было бы неплохо, особенно если я настраиваю только ДИСКРЕТНЫЕ гиперпараметры. - person Benjamin Trendelkamp-Schroer; 22.01.2018