Я пытаюсь решить проблему регрессии в Boston Dataset с помощью регрессор случайного леса. Я использовал GridSearchCV для выбора лучших гиперпараметров.
Проблема 1
Должен ли я установить GridSearchCV
на какой-нибудь X_train, y_train
, а затем получить лучшие параметры.
OR
Должен ли я установить его на X, y
, чтобы получить наилучшие параметры (X, y = весь набор данных)
Проблема 2
Скажите, если я уложу его на X, y
и получу лучшие параметры, а затем построю новую модель на этих лучших параметрах. Как мне тренировать эту новую модель?
Стоит ли тренировать новую модель на X_train, y_train
или X, y.
Проблема 3
Если я тренирую новую модель на X,y
, как я буду проверять результаты?
Мой код на данный момент
#Dataframes
feature_cols = ['CRIM','ZN','INDUS','NOX','RM','AGE','DIS','TAX','PTRATIO','B','LSTAT']
X = boston_data[feature_cols]
y = boston_data['PRICE']
Обучить тестовый раздел данных
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state = 1)
Поиск по сетке для получения наилучших гиперпараметров
from sklearn.grid_search import GridSearchCV
param_grid = {
'n_estimators': [100, 500, 1000, 1500],
'max_depth' : [4,5,6,7,8,9,10]
}
CV_rfc = GridSearchCV(estimator=RFReg, param_grid=param_grid, cv= 10)
CV_rfc.fit(X_train, y_train)
CV_rfc.best_params_
#{'max_depth': 10, 'n_estimators': 100}
Обучите модель на max_depth: 10, n_estimators: 100
RFReg = RandomForestRegressor(max_depth = 10, n_estimators = 100, random_state = 1)
RFReg.fit(X_train, y_train)
y_pred = RFReg.predict(X_test)
y_pred_train = RFReg.predict(X_train)
RMSE: 2.8139766730629394
Я просто хочу получить совет о том, какие шаги будут правильными.