Введение:
Линейная регрессия использует наименьшую квадратичную ошибку в качестве функции потерь, которая дает выпуклую функцию потерь, а затем мы можем завершить оптимизацию, найдя ее вершину как глобальный минимум. Однако для логистической регрессии гипотеза изменяется, наименьшая квадратичная ошибка приведет к невыпуклой функции потерь с локальными минимумами путем вычисления с применением сигмоидной функции к исходным выходным данным модели.
Тем не менее, мы хорошо знакомы с градиентом функции затрат линейной регрессии, он имеет очень упрощенную форму, представленную ниже, но я хотел бы упомянуть здесь момент, что градиент для функции потерь логистической регрессии также имеет ту же форму. терминов, несмотря на наличие сложной функции ошибок потери журнала.
Чтобы сохранить выпуклый характер функции потерь, для логистической регрессии была разработана функция ошибок потерь журнала. Функция стоимости делится на два случая y = 1 и y = 0.
Для случая, когда у нас y = 1, мы можем наблюдать, что, когда функция гипотезы стремится к 1, ошибка минимизируется до нуля, а когда она стремится к 0, ошибка максимальна. Этот критерий в точности соответствует критерию, как мы и хотели.
Комбинируя оба уравнения, мы получаем выпуклую функцию логарифмических потерь, как показано ниже:
Чтобы оптимизировать эту выпуклую функцию, мы можем использовать метод градиентного спуска или метод Ньютона. Для обоих случаев нам нужно получить градиент этой сложной функции потерь. Математика для получения градиента показана в шагах, указанных ниже.
Производная от функции затрат.
Поскольку функция гипотезы для логистической регрессии имеет сигмовидную природу, поэтому первым важным шагом является поиск градиента сигмовидной функции. Из приведенного ниже вывода видно, что градиент сигмовидной функции следует определенной схеме.
Шаг 1:
Применение правила цепочки и запись в терминах частных производных.
Шаг 2:
Вычисление частной производной с использованием модели производной сигмовидной функции.
Шаг 3:
Упрощение членов умножением
Шаг 4:
Удаление члена суммирования путем преобразования его в матричную форму для градиента по всем весам, включая член смещения.
Вывод:
Это небольшое упражнение по исчислению показывает, что и линейная регрессия, и логистическая регрессия (на самом деле своего рода классификация) приходят к одному и тому же правилу обновления. Что мы должны понимать, так это то, что структура функции затрат является частью причин, по которым происходит такое «совпадение».
Спасибо за чтение!!!!
Если вам нравится моя работа и вы хотите меня поддержать:
1. НАИЛУЧШИЙ способ поддержать меня - подписаться на меня в Medium.
2-Следуйте за мной в LinkedIn.
