Определите количественную ошибку между прогнозируемыми и ожидаемыми значениями.

Вступление

В этой статье показано математическое объяснение функции стоимости линейной регрессии и принцип ее работы.

В области машинного обучения линейная регрессия - важная и часто используемая концепция. Линейная регрессия - это не что иное, как создание алгоритма для прогнозирования выходных данных по непрерывному набору значений для выходных данных, когда задан обучающий набор.

Итак, этот алгоритм прогнозирования результатов известен как гипотеза. Это функция ввода, которая дает результат. Мы выбираем эту гипотезу на основе данной обучающей выборки.

h₀(x) = θ₀ + θ₁x₁ + θ₂x₂ + ……… θₙxₙ

Здесь xₙ - входы обучающей выборки, выходы которой равны yₙ. И θₙ известны как параметры. Гипотеза выбирается так, чтобы она была близка к результату или совпадала с ним.

Вышеупомянутая гипотеза множественной линейной регрессии. Гипотеза для линейной регрессии с одной переменной дается формулой

h₀(x) = θ₀ + θ₁x₁

Для разных значений параметров гипотезы мы получаем разные прогнозы. Итак, как выбрать правильный набор значений для θ? Один из способов - функция стоимости.

Функция затрат

Функцию стоимости можно определить как алгоритм, который измеряет точность нашей гипотезы. Это среднеквадратичная ошибка между прогнозируемым значением и истинным значением.

Мы не можем продолжать присваивать параметрам случайные значения, чтобы получить подходящее решение. Значения параметров, которые дают минимальное значение функции стоимости, являются подходящими значениями.

Функция затрат для регрессии определяется выражением

Интерпретация функции затрат

Если мы внимательно рассмотрим приведенную выше функцию стоимости, член внутри суммирования будет составлять квадратную ошибку. Итак, что именно происходит в функции, это нахождение разницы между гипотезой и результатом. Ошибка дает нам представление о том, насколько точна наша гипотеза. Если ошибка велика, наша гипотеза может быть недостаточно точной. Если ошибка невелика, наша гипотеза может быть достаточно точной. Итак, если ошибка будет минимальной, это даст нам наиболее точную гипотезу для дальнейших прогнозов.

Член (1 / m) перед суммированием обозначает среднее значение. (1/2) перед этим на самом деле не важно. Он может быть включен, а может и не быть. Обычно его включают для дальнейшего упрощения при применении производной. Это не влияет на функцию.

Давайте рассмотрим несколько примеров для лучшего понимания.

Пример

Скажем, нам дан обучающий набор следующим образом

Скажем, для некоторых случаев линейной регрессии с одной переменной даны входные значения (xₙ) и выходные значения (yₙ). Если мы нанесем вышеуказанные значения на график (ввод по оси x и вывод по оси y), мы получим следующий график.

i) Гипотеза линейной регрессии с одной переменной - прямая линия. Выберем случайным образом значения параметров.

Пусть θ₀ = 1 и θ₁ = (1/3)

Гипотезу можно записать как,

Отображение гипотезы на графике.

Черная линия обозначает гипотезу, а красная обозначает ошибку между гипотезой и выходным значением.

Здесь, если мы рассматриваем абсолютную ошибку вместо квадратичной ошибки, мы получаем ошибку как ноль. Но на самом деле погрешность не нулевая. Чтобы ошибка была равна нулю, линия гипотезы линии должна проходить через все точки обучающей выборки. Вот почему мы рассматриваем квадратную ошибку, а не абсолютную ошибку.

Таким образом, значение функции затрат для этой гипотезы определяется выражением

ii) Теперь давайте рассмотрим другую гипотезу для той же обучающей выборки.

Пусть θ₀ = 0 и θ₁ = 1.

Тогда гипотеза

h₀(x) = x₁

Применяя эту гипотезу, получаем

J(θ₀, θ₁) = 0.

Поскольку функция стоимости представляет собой сумму квадратов, ее минимально возможное значение равно 0. Таким образом, эта гипотеза более точна, чем предыдущая и любые другие гипотезы. Но это не означает, что для каждого обучающего набора функция минимальной стоимости должна быть равна 0. Это происходит только тогда, когда они являются линейными. В противном случае минимальное значение отличное от нуля.

Когда мы используем многомерную линейную регрессию и гораздо более сложный набор данных, применяется эта концепция. Но для нахождения параметров используются многие другие алгоритмы, такие как градиентный спуск и нормальное уравнение.

Заключение

Выбор гипотезы основан на параметрах. Его следует выбирать таким образом, чтобы гипотеза была близка к значениям выпуска или либо совпадала с ними. Совпадение с выводом практически невозможно. Поэтому мы должны убедиться, что погрешность минимальна.

Некоторые примеры в реальном времени могут быть следующими

Итак, функция стоимости показывает свою значимость при измерении производительности модели машинного обучения для заданных данных. Он количественно определяет ошибку между прогнозируемыми значениями и ожидаемыми значениями и представляет их в виде единственного действительного числа, тем самым занимая важное место в области машинного обучения.

Эта статья написана Дакети Ятин. Вдохновленный проф. Курс Эндрю Нга по машинному обучению.