Авторы: Шрути Джадон, Аджит Патанкар, Аман Гаурав, Дивьянк Гарг, Мэн Сун

Введение:

После того, как модели обучены и оптимальные веса сохранены, следующим важным этапом моделирования машинного обучения является оценка. Оценка модели очень ориентирована на предметную область; в зависимости от цели показатель оценки также динамически меняется. Для поддержки широкого диапазона целей мы включили широко используемые метрики на основе регрессии, такие как R², AIC, BIC, MSE, RMSE и т. д. Некоторые новые метрики, относящиеся к данным телеметрии, также включены в библиотеку ts_forecasting.

В модели регрессии наиболее известные метрики оценки включают:

  1. R-квадрат (R2), который представляет собой долю вариации результата, которая объясняется прогностическими переменными. В моделях множественной регрессии R2 соответствует квадрату корреляции между наблюдаемыми значениями результатов и значениями, предсказанными моделью. Чем выше R-квадрат, тем лучше модель.
  2. Среднеквадратичная ошибка (RMSE), измеряющая среднюю ошибку, допущенную моделью при прогнозировании результата наблюдения. С математической точки зрения RMSE представляет собой квадратный корень из среднеквадратической ошибки (MSE), представляющей собой среднеквадратичную разницу между наблюдаемыми фактическими значениями исхода и значениями, предсказанными моделью. Таким образом, MSE = среднее ((наблюдаемые — прогнозируемые)²) и RMSE = sqrt (MSE). Чем ниже RMSE, тем лучше модель.
  3. AIC наказывает за включение в модель дополнительных переменных. Он добавляет штраф, который увеличивает ошибку при включении дополнительных терминов. Чем ниже AIC, тем лучше модель.
  4. BIC – это вариант AIC с более сильным наказанием за включение в модель дополнительных переменных.

В рамках оценки наша библиотека также предоставляет методы визуализации, которые могут помочь пользователям построить график производительности своих моделей по сравнению с реальными данными, как показано на рисунке ниже:

Прогноз модели:

В рамках библиотеки ts_forecasting мы обеспечили легкость прогнозирования. Мы создали файл конфигурации, в котором пользователи могут ввести путь к весам модели, сведения об архитектуре, путь к тестовым данным и вариант, если они хотят обучить/настроить модель. После ввода этих данных пользователь может получить вывод, просто запустив 5 строк кода следующим образом:

from forecasting import automate 
import os 
config_file_path = os.path.abspath(‘./config.conf’) # Pass the config file path. 
a = automate.Automate(config_path=config_file_path) 
a.run()

Этот пакет предоставляет пользователям метод экспериментирования с данными временных рядов на основе телеметрии со знанием каждой стратегии обучения модели ML и настройки гиперпараметров. Параметры конфигурационного файла следующие:

Предыдущая ссылка на блог:https://medium.com/@juniper.cto.aiml.2021/time-series-forecasting-library-structure-part-ii-supported-models-and-model -обучение-be2fde280720

Следующая ссылка на блог:https://medium.com/@juniper.cto.aiml.2021/time-series-forecasting-library-comparison-with-creating-model-from-scratch-ea23bca1609f