Регуляризация L1 и L2 — это методы, используемые для предотвращения переобучения в моделях машинного обучения путем добавления штрафа к функции потерь. Эти методы регуляризации добавляют к функции потерь член, пропорциональный величине весов модели. Регуляризация L1, также известная как регуляризация Лассо, добавляет к функции потерь член, пропорциональный абсолютному значению весов. Математически это можно представить как: Член регуляризации L1 = λ * ∑|w| где λ — гиперпараметр,..

Когда модель действительно хорошо работает на наборе поездов, но плохо работает на невидимых данных, мы знаем, что у нас есть проблема: переоснащение. Мы знаем, что существует компромисс между предвзятостью и дисперсией. Простая модель будет иметь высокое смещение и низкую дисперсию, тогда как сложная модель будет иметь низкое смещение и высокую дисперсию. В любом случае общая ошибка будет высокой. Нам нужна наименьшая общая ошибка, то есть низкое смещение и низкая дисперсия. Для..