Оптимизация скрытых слоев классификатора Sklearn MLP (RandomizedSearchCV)

У меня настроены следующие параметры:

parameter_space = {
    'hidden_layer_sizes': [(sp_randint.rvs(100,600,1),sp_randint.rvs(100,600,1),), (sp_randint.rvs(100,600,1),)],
    'activation': ['tanh', 'relu', 'logistic'],
    'solver': ['sgd', 'adam', 'lbfgs'],
    'alpha': stats.uniform(0.0001, 0.9),
    'learning_rate': ['constant','adaptive']}

Все параметры, кроме hidden_layer_sizes, работают должным образом.

В настоящее время значения hidden_layer_sizes random предварительно вычисляются и остаются неизменными во всех итерациях.

Есть ли способ получить 1 или 2 слоя MLP со скрытыми нейронами слоя от 100 до 600, выбранными случайным образом для каждой итерации RandomizedSearchCV.

Любые идеи/другие советы?


python machine-learning hyperparameters scikit-learn
person MG_Ghost    schedule 27.08.2018    source источник
comment
не могли бы вы уточнить, какая структура является «hidden_layer_sizes», это кортеж из 3 целых чисел или только одно число?   -  person Jirka B.    schedule 27.08.2018

Ответы (1)


arrow_upward
0
arrow_downward

RandomizedSearchCV использует ParameterSampler, который ожидает случайный список или объект с атрибутом rvs(). Вы можете имитировать этот объект,

class RandIntMatrix(object):
    def __init__(self, low, high, shape=(1)):
        self.low = low
        self.high = high
        self.shape = shape

    def rvs(self, random_state=None):
        np.random.seed(random_state)
        return np.random.randint(self.low, self.high, self.shape)

print (RandIntMatrix(100, 600, 3).rvs())  # [ 506 124 310]
person Jirka B.    schedule 27.08.2018