Как выполнить обратное преобразование прогнозов регрессии после конвейера?

Простое объяснение

Ваш конвейер преобразует только значения в X, а не y. Различия, которые вы видите в y для прогнозов, связаны с различиями в значениях коэффициентов между двумя моделями, подобранными с использованием масштабированных и немасштабированных данных.

Итак, если вы хотите получить этот прогноз в немасштабированном выражении, исключите средство масштабирования из своего конвейера. Если вы хотите, чтобы этот прогноз был в масштабированном выражении, вам необходимо масштабировать новые данные прогноза перед их передачей в функцию .predict (). На самом деле конвейер делает это за вас автоматически, если вы включили в него шаг масштабирования.

Масштабирование и регрессия

Практическая цель масштабирования здесь может заключаться в том, что люди и расходные материалы имеют разные динамические диапазоны. Использование RobustScaler () удаляет медианное значение и масштабирует данные в соответствии с диапазоном квантилей. Обычно вы делаете это только в том случае, если считаете, что у ваших сотрудников или поставщиков есть выбросы, которые могут отрицательно повлиять на выборочное среднее / дисперсию. Если это не так, вы, вероятно, использовали бы StandardScaler () для удаления среднего и масштабирования до единичной дисперсии.

После масштабирования данных вы можете сравнить коэффициенты регрессии, чтобы лучше понять, как модель делает свои прогнозы. Это важно, поскольку коэффициенты для немасштабированных данных могут вводить в заблуждение.

Пример использования вашего кода

В следующем примере показано:

1. Прогнозы с использованием масштабированных и немасштабированных данных с конвейером и без него.

2. Прогнозы совпадают в обоих случаях.

3. Вы можете увидеть, что делает конвейер в фоновом режиме, посмотрев на примеры, не относящиеся к конвейеру.

4. Я также включил коэффициенты модели в обоих случаях. Обратите внимание, что коэффициенты или веса для масштабированных и немасштабированных подобранных моделей сильно различаются.

5. # P13 #

   import pandas as pd
   from sklearn.linear_model import Lasso
   from sklearn.model_selection import train_test_split
   from sklearn.pipeline import Pipeline
   from sklearn.preprocessing import RobustScaler
   
   data = [[100, 1, 50],[500 , 3, 25],[1000 , 10, 100]]
   df = pd.DataFrame(data,columns=['Cost','People', 'Supplies'])
   
   X = df[['People', 'Supplies']]
   y = df[['Cost']]
   
   #Split
   X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=0)
   
   #Pipeline
   pipeline_scaled = Pipeline([('scale', RobustScaler()),
                        ('alg', Lasso(random_state=0))])
   
   pipeline_unscaled = Pipeline([('alg', Lasso(random_state=0))])
   
   clf1 = pipeline_scaled.fit(X_train,y_train)
   clf2 = pipeline_unscaled.fit(X_train,y_train)
   
   
   #Pipeline predict example 
   example = [[10,100]]
   print('Pipe Scaled: ', clf1.predict(example))
   print('Pipe Unscaled: ',clf2.predict(example))
   
   #------------------------------------------------
   
   rs = RobustScaler()
   reg = Lasso(random_state=0)
   # Scale the taining data 
   X_train_scaled = rs.fit_transform(X_train)
   reg.fit(X_train_scaled, y_train)
   # Scale the example
   example_scaled = rs.transform(example)
   # Predict using the scaled data
   print('----------------------')
   print('Reg Scaled: ', reg.predict(example_scaled))
   print('Scaled Coefficents:',reg.coef_)
   
   #------------------------------------------------
   reg.fit(X_train, y_train)
   print('Reg Unscaled: ', reg.predict(example))
   print('Unscaled Coefficents:',reg.coef_)
   

Выходы:

Pipe Scaled:  [1892.]
Pipe Unscaled:  [-699.6]
----------------------
Reg Scaled:  [1892.]
Scaled Coefficents: [199.  -0.]
Reg Unscaled:  [-699.6]
Unscaled Coefficents: [  0.     -15.9936]

Для полноты

В исходном вопросе вы спрашиваете о масштабировании ваших данных. Я не думаю, что это то, что вам действительно нужно, поскольку X_train - это ваши немасштабированные данные. Однако в следующем примере показано, как это можно сделать, используя объект масштабирования из вашего конвейера.

#------------------------------------------------
pipeline_scaled['scale'].inverse_transform(X_train_scaled)

Вывод

array([[ 3., 25.],
       [ 1., 50.]])