Публикации по теме 'ridge-regression'
Регрессия и ее виды.
В прошлом посте мы рассмотрели, что такое машинное обучение и его виды. Там я обсуждал, что контролируемое обучение является одним из методов. Сегодня давайте обсудим, что такое регрессионный анализ и каковы его разновидности.
Что такое регрессия?
Регрессия прогнозирует среднее значение целевой переменной на основе значений других переменных (независимых переменных). Примерами могут быть время и стоимость, когда стоимость может зависеть от различных других факторов, и необходимо..
Набор данных о лесных пожарах в Алжире
У нас есть интересный набор данных о лесных пожарах в Алжире, где нам нужно предсказать, будет ли пожар или нет, на основе различных независимых признаков. Поскольку это проблема классификации, я подумал о преобразовании ее в задачу регрессии, в которой мы будем прогнозировать индекс пожарной погоды (FWI), который будет нашей зависимой функцией.
Давайте углубимся в набор данных, который мы получили от Kaggle.
Информация о наборе данных:
Набор данных включает 244 экземпляра, которые..
Введение в регуляризацию
Когда модель действительно хорошо работает на наборе поездов, но плохо работает на невидимых данных, мы знаем, что у нас есть проблема: переоснащение. Мы знаем, что существует компромисс между предвзятостью и дисперсией. Простая модель будет иметь высокое смещение и низкую дисперсию, тогда как сложная модель будет иметь низкое смещение и высокую дисперсию. В любом случае общая ошибка будет высокой.
Нам нужна наименьшая общая ошибка, то есть низкое смещение и низкая дисперсия.
Для..
Проблема переобучения
.. и как с этим бороться — Часть 2
В Части 1 этого блога я довольно подробно описал проблему переобучения, и мы увидели, как переоснащенная модель хорошо работает на обучающем наборе данных, но не может обобщать. В этом блоге мы обсудим Регуляризацию , широко используемый метод для решения проблемы переобучения.
Регуляризация — это метод, который снижает сложность модели ML, добавляя штраф к функции потерь. Функция штрафа или «термин регуляризации» добавляется ко всем параметрам..
Регуляризация: Ридж и Лассо
Регуляризация – это процесс добавления информации для решения проблем машинного обучения, таких как переобучение. Это одна из самых важных концепций машинного обучения. С математической точки зрения регуляризация может применяться к задачам оптимизации, где можно добавить член регуляризации или штраф, чтобы найти оптимальное решение задачи оптимизации.
Наиболее часто используемые методы регуляризации следующие:
Регуляризация L1 Регуляризация L2
Чтобы лучше понять Ридж и..
Выбор характеристик линейной модели
выбор важных функций
Иногда даже самый простой из алгоритмов линейная регрессия может казаться немного перегруженной множеством функций X для прогнозирования переменной отклика Y.
С многомерными функциями модель может потерять свою интерпретируемость и может оказаться трудным объяснить особенности, ответственные за дисперсию в переменной отклика Y.
С многомерными элементами модель могла потерять свою предсказательную силу на тестовых данных из-за одного из следующих..
Введение в регуляризацию с использованием регрессий Риджа и Лассо
Вы можете спросить себя: зачем нужна регуляризация?
Прежде всего, регуляризация регрессионных моделей позволяет избежать переобучения при автоматической подгонке нашей модели. Регуляризация выполняется путем добавления штрафа к нашей функции потерь. Вспомните нашу функцию потерь для простой регрессии методом наименьших квадратов (OLS). Путем выбора значения бета, которое минимизирует сумму квадратов ошибок (SSE), находится линия наилучшего соответствия.
Переоснащение может..
