Вывод уравнений был не таким простым

В этой статье мы будем выводить уравнения для коэффициентов простой линейной регрессии, используя условия ошибок и функцию ошибок.

Что такое регрессия?

Простыми словами, регрессия — это метод оценки значения на основе другого значения.
Например, оценка роста по возрасту.
- Этот метод используется для,
1. прогнозирования
2. Выяснения причинно-следственной связи между значениями

Что такое линейная регрессия?
Линейная регрессия — это контролируемый алгоритм машинного обучения. Линейная регрессия — это тип регрессионного анализа, в котором существует линейная связь между независимыми (x) и зависимыми (y) переменными. Может быть положительная линейная связь или отрицательная линейная связь.

Цель линейной регрессии:
Сопоставить наиболее подходящую линию таким образом, чтобы разница между расстоянием между точками фактических данных и построенной кривой /строка минимальна

Типы линейной регрессии
1 Простая линейная регрессия
2 Множественная линейная регрессия
3 Полиномиальная линейная регрессия

Простая линейная регрессия

Это подход к прогнозированию Y (зависимой переменной) на основе одной независимой переменной.
Он предполагает, что между X и Y существует приблизительно линейная зависимость.

это определяется выражением Y ≈ β1X + β0
где
X — независимая переменная
Y — зависимая переменная
β1 — уклон (или коэффициент или вес)
β0 является точкой пересечения с осью y, когда x = 0 (или смещение)

β0 и β1 – две неизвестные константы, которые представляют точки пересечения и наклона в линейной модели.
Эти β0 и β1 известны как коэффициенты модели или модель параметры

Как только мы обучим модель с помощью наших обучающих данных для получения оценок β0 и β1, мы можем предсказать будущие значения на основе конкретного значения x, вычислив yhat = β0hat + β1hat * x.

Математическая интуиция
Как найти значения коэффициентов (β0 и β1)

Коэффициенты можно найти двумя разными способами
Замкнутая форма
1. Используется прямая формула — Википедия
2. Также называется Обычный наименьший квадрат (LinearRegression() в sci-kit learning по умолчанию использует метод OLS)
Незамкнутая форма — использует дифференциацию
— Решается с помощью градиентного приличия (SGDRegressor () в научном наборе для обучения используется градиентный спуск)

Почему мы используем Gradient Decent вместо прямой формулы из OLS?
— Когда размерность увеличивается, сложность расчета увеличивается с формулой OLS. OLS рассматривается, когда набор данных очень мал.

Обычный метод наименьших квадратов (закрытая форма)
Метод МНК пытается найти β0 и β1, которые минимизируют сумму квадратов ошибок.

Давайте составим это уравнение с нуля

Предполагая, что независимые и зависимые переменные являются линейными по своей природе, мы пытаемся подобрать «наилучшую линию соответствия», которая пытается пройти через все точки данных как можно ближе, чтобы уменьшить ошибку (также называемую остатками).

Здесь d1,d2,d3,d4….dn представляют ошибки (остатки)
тогда ошибка может быть записана как

𝑑1+𝑑2+𝑑3+𝑑4+….+𝑑𝑛

Ошибки могут быть отрицательными или положительными значениями, это приводит к тому, что ошибки в какой-то момент компенсируются. Чтобы преодолеть эту проблему и найти общее количество ошибок, мы возводим их в квадрат.

Почему модуль не используется для преобразования ошибок в положительные значения?

Есть две причины:
1. мы хотим наказать выбросы
2. мод не может быть дифференцируемым в начале координат.

теперь термин Error можно записать как

Эта E теперь называется Функция ошибки или Функция стоимости (вы увидите, что в некоторых книгах термин Error также представлен J).

Кроме того, разлагая член ошибки,

Теперь у нас есть разложенная функция ошибки, теперь нам нужно найти значения β0 и β1, которые минимизируют ошибку.

Из теории мы знаем, что y = f(x), что означает, что y является функцией x, то есть изменение x изменит значения y.

Точно так же изменение β0 и β1 изменит значения ошибки и найдет минимальные ошибки.

Из математики мы знаем,

Чтобы найти минимальное значение функции ошибок, мы должны выполнить два шага:
1. Найти частные производные ошибок по β0 и β1
2. Приравнять производные к 0 и найти критические точки, где наклон касательной становится равным 0

Нахождение β0

Нахождение β1

Реализация и сравнение полученной формулы и алгоритма LinearRegression представлены по ссылке ниже.

Пожалуйста, найдите пример здесь — Github

Вывод

Вывод уравнений для нахождения коэффициентов простой линейной регрессии представлен в этой статье. Множественная линейная регрессия и полиномиальная регрессия выходят за рамки этой статьи и будут описаны в следующих статьях.

Профиль LinkedIn Бханумати Рамеш