python scikit изучает настройку гиперпараметров с помощью обучения вне ядра

в настоящее время я использую

clf = SGDClassifier(loss='log', random_state=1, n_iter=1)

для моего обучения модели прогнозирования. Тем не менее, данные для обучения довольно велики, поэтому я использую нестандартное обучение.

clf.partial_fit(X_train, y_train, classes=classes)

Кроме того, я хотел бы реализовать настройку гиперпараметров, например, GridSearchCV(http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html)

Но похоже, что поскольку GridSearchCV не предоставляет метод partial_fit, обучение вне ядра невозможно, и мне приходится хранить весь набор данных в памяти. Есть ли способ настройки гиперпараметров при использовании внешнего обучения?


python machine-learning scikit-learn grid-search large-data
person Micha    schedule 11.12.2016    source источник
comment
Привет, Миша, ты решил найти решение проблемы?   -  person manish Prasad    schedule 28.09.2018
comment
@manishthapliyal, к сожалению, пока нет.   -  person Micha    schedule 28.09.2018
comment
Я нашел способ сделать добавочное обучение с помощью Random Forest, есть библиотека под названием scikit-graden, у них есть классификатор Mondarian, который добавляет добавочное или онлайн-обучение в Random Forest.   -  person manish Prasad    schedule 01.10.2018

Ответы (1)


arrow_upward
0
arrow_downward

Я нашел способ сделать добавочное обучение с помощью Random Forest. Есть библиотека под названием scikit-graden, у них есть классификатор mondrian, который добавляет добавочное или онлайн-обучение в Random Forest.

Проверьте этот блог в мондрианском лесу: https://medium.com/mlrecipies/mondrian-forests-making-random-forests-better-and-efficient-b27814c681e5

person manish Prasad    schedule 15.10.2018