Что такое логарифмические (логарифмические) потери в проектах по науке о данных?

Log Loss — наиболее важная метрика классификации, основанная на вероятностях.

Логарифмическая (логарифмическая) потеря измеряет производительность модели классификации, где входные данные для прогнозирования представляют собой значение вероятности от 0 до 1. Целью нашей модели машинного обучения является минимизация этого значения. Чтобы модель была идеальной, ее логарифмические потери должны быть равны нулю.

Значение логарифмических потерь увеличивается, когда прогнозируемая вероятность отличается от фактических значений. Скажем, например, мы предсказали вероятность 0,01, когда фактическая метка наблюдения равна 1. Это было бы плохо и привело бы к большим потерям журнала.

Логарифмическая потеря учитывает неопределенность вашего прогноза в зависимости от того, насколько он отличается от фактической метки.

С другой стороны, точность — это количество прогнозов, в которых ваше прогнозируемое значение равно фактическому значению. Точность не всегда является хорошим показателем из-за того, что она может быть да или нет.

Пример

Модель предсказывает вероятности [0,7, 0,5, 0,1] для трех домов. Первые два дома были проданы, а третий не продан. Таким образом, фактический результат может быть представлен численно как [1, 1, 0].

Первый дом был продан, и модель сказала, что вероятность этого составляет 70%. Таким образом, функция правдоподобия после просмотра одного прогноза равна 0,7.

Второй дом был продан, и модель сказала, что вероятность этого составляет 50%. Существует правило вероятности, согласно которому вероятность нескольких независимых событий является произведением их индивидуальных вероятностей. Итак, мы получаем комбинированную вероятность из первых двух прогнозов, умножая связанные с ними вероятности. Это 0,7 * 0,5, что равно 0,32.

Теперь мы подошли к третьему предсказанию, что дом не продали. Модель сказала, что вероятность продажи составляет 10%. Это означает, что с вероятностью 90% он не будет продан.

Таким образом, наблюдаемый результат отказа от продажи был 90% вероятным в соответствии с моделью. Итак, умножаем предыдущий результат 0,32 на 0,9.

Мы могли бы перебрать все наши предсказания. Каждый раз мы находили вероятность, связанную с фактически произошедшим исходом, и умножали ее на предыдущий результат. Это вероятность.

Каждое предсказание находится в диапазоне от 0 до 1. Если вы умножаете достаточное количество чисел в диапазоне, результат становится настолько маленьким, что компьютеры не могут его отследить. Итак, в качестве хитрого вычислительного трюка мы вместо этого отслеживаем логарифм вероятности. Это диапазон, который легко отслеживать. Мы умножаем это на минус 1, чтобы сохранить общее соглашение о том, что чем меньше количество потерь, тем лучше.

Итак, теперь вы знаете, что такое логарифмическая (логарифмическая) потеря в проектах по науке о данных?

Первоначально опубликовано по адресу https://www.readsmarty.com/2020/07/what-is-logarithmic-log-loss-in-data.html.