Как использовать пользовательскую функцию подсчета очков в sklearn cross_val_score

Я хочу использовать Скорректированный Rsquare в функции cross_val_score. Я пытался использовать функцию make_scorer, но она не работает.

from sklearn.cross_validation import train_test_split
X_tr, X_test, y_tr, y_test = train_test_split(X, Y, test_size=0.2, random_state=0)

regression = LinearRegression(normalize=True)
from sklearn.metrics.scorer import make_scorer
from sklearn.metrics import r2_score
def adjusted_rsquare(y_true,y_pred):
    adjusted_r_squared = 1 - (1-r2_score(y_true, y_pred))*(len(y_pred)-1)/(len(y_pred)-X_test.shape[1]-1)
    return adjusted_r_squared

my_scorer = make_scorer(adjusted_rsquare, greater_is_better=True)
score = np.mean(cross_val_score(regression, X_tr, y_tr, scoring=my_scorer,cv=crossvalidation, n_jobs=1))

Выдает ошибку:

IndexError: positional indexers are out-of-bounds

Есть ли способ использовать мою пользовательскую функцию, т.е. adjusted_rsquare с cross_val_score?


python-3.x python machine-learning scikit-learn sklearn-pandas
person merkle    schedule 19.12.2018    source источник

Ответы (1)


arrow_upward
3
arrow_downward

adjusted_rsquare(X,Y) — это число, это не функция, просто создайте счетчик следующим образом:

my_scorer = make_scorer(adjusted_rsquare, greater_is_better=True)

Вам также необходимо изменить функцию оценки:

def adjusted_rsquare(y_true, y_pred, **kwargs):

Это прототип, который вы должны использовать. Вы сравниваете фактический результат с результатом, которым он должен был быть.

person Matthieu Brucher    schedule 19.12.2018
comment
Я немного изменил код и попробовал то, что вы предложили, но он не работает и выдает ошибку, например, позиционные индексы выходят за пределы. - person merkle; 19.12.2018
comment
Добавлен комментарий к неправильному объявлению функции, вы не делаете никаких прогнозов внутри функции, это решается моделью, которую вы хотите оценить. - person Matthieu Brucher; 19.12.2018
comment
Не могли бы вы рассказать мне, как получить y_pred из cross_val_score? - person merkle; 19.12.2018
comment
Это работа cross_val_score, чтобы дать вам y_true и y_pred. Это то, что вы получаете в своей функции. Вы получаете их по определению. - person Matthieu Brucher; 19.12.2018
comment
Я изменил и попробовал еще раз, но все еще сталкиваюсь с той же проблемой. - person merkle; 19.12.2018
comment
Я понял. Спасибо за вашу помощь - person merkle; 19.12.2018