Когда мы используем модель линейной регрессии, есть вероятность, что модель будет соответствовать заданному набору обучающих данных. Регуляризация помогает уменьшить переоснащение за счет штрафных коэффициентов.
Во-первых, мы попытаемся понять причины переобучения в модели линейной регрессии.
Модель слишком сложна
Когда модель будет иметь слишком много параметров, а параметры модели имеют высокие значения, говорят, что это сложная модель.
Если модель сложная, она будет иметь высокую дисперсию (чувствительность), что приведет к переоснащению.
давайте возьмем пример простой линейной регрессии
Красные точки — это данные обучения, а желтые точки — данные тестирования. Линия идеально подходит для обучающих данных, но не слишком подходит для тестовых данных. Модель не является универсальной. В модели линейной регрессии значение m (наклон) должно быть высоким, поскольку наклон линии высок, что приводит к модели с высокой дисперсией.
В y=mx+c, если значение m выше, чем небольшое изменение x, происходит большое изменение y. если бы наклон линии был бы меньше, в этом случае было бы меньше переобучения.
Регуляризация поможет уменьшить значение m. поэтому, если нам удастся уменьшить значение m, мы сможем сделать модель более обобщенной.
В линейной регрессии есть три основных метода регуляризации.
L1: LASSO (оператор выбора наименьшей абсолютной усадки)
в регуляризации LASSO мы вносим изменения в функцию затрат, добавляя штрафной член.
Функция стоимости лассо = сумма ошибок + сумма абсолютного значения коэффициентов.
Функция LASSO Cost найдет прогнозируемую линию с меньшим значением m, а также с меньшей ошибкой. Он также может устранить некоторые особенности, сделав значение m равным нулю.
L2: хребет
Функция стоимости хребта: сумма ошибок + сумма квадратов коэффициентов
Уменьшение хребта — параметр, который помогает предотвратить множественную коллинеарность.
Эластичная сетка
Эластичная сеть использует комбинацию LASSO и Ridge.
Эластичная сетка: Сумма ошибок + Сумма модуля коэффициентов + Сумма квадратов коэффициентов.
