Я обучаю модель на основе внимания кодер-декодер с размером пакета 8. Я не подозреваю, что в наборе данных слишком много шума, однако примеры взяты из нескольких разных дистрибутивов.
Я вижу много шума на кривой потерь поезда. После усреднения (0,99) тенденция в порядке. Также точность модели неплохая.
Хотелось бы понять, в чем может быть причина такой формы кривой потерь.
Я сам нашел ответ.
Я думаю, что другие ответы неверны, потому что они основаны на опыте работы с более простыми моделями / архитектурами. Основным моментом, который меня беспокоил, был тот факт, что шум в потерях обычно более симметричен (вы можете построить среднее значение, а шум будет случайным образом выше и ниже среднего). Здесь мы больше видим путь с низкой тенденцией и внезапные пики.
Как я уже писал, архитектура, которую я использую, - это кодер-декодер с вниманием. Несложно сделать вывод, что входы и выходы могут иметь разную длину. Потери суммируются по всем временным шагам, и НЕ нужно делить их на количество временных шагов.
https://www.tensorflow.org/tutorials/seq2seq
Важное примечание: стоит отметить, что мы делим потери на batch_size, поэтому наши гиперпараметры «инвариантны» по отношению к batch_size. Некоторые люди делят потери на (batch_size * num_time_steps), что преуменьшает количество ошибок, сделанных в коротких предложениях. Более тонко, наши гиперпараметры (примененные к первому способу) не могут использоваться вторым способом. Например, если оба подхода используют SGD с обучением 1.0, последний подход эффективно использует гораздо меньшую скорость обучения 1 / num_time_steps.
Я не усреднял потери, поэтому шум заметен.
P.S. Точно так же размер пакета, например, 8, может иметь несколько сотен входов и целей, поэтому на самом деле вы не можете сказать, что он маленький или большой, не зная средней длины примера.
Шумная потеря тренировки, но хорошая точность может быть вызвана следующей причиной:
Локальные минимумы:
Функция может иметь локальные минимумы, поэтому каждый раз, когда ваш градиентный спуск сходится к локальному минимуму, потери / затраты уменьшаются. Но при хорошей скорости обучения модель учится прыгать из этих точек, и градиентный спуск сходится к глобальному минимуму, который и является решением. Вот почему потеря тренировки очень шумная.
Вы используете мини-пакетный градиентный спуск, который вычисляет градиент функции потерь только для примеров в мини-пакете. Однако потери, которые вы измеряете, относятся ко всем обучающим примерам. Общие потери должны иметь тенденцию к снижению, но часто они будут идти в неправильном направлении, потому что градиент мини-партии не был достаточно точной оценкой общих потерь.
Кроме того, вы умножаете градиент на скорость обучения на каждом шаге, чтобы попытаться спуститься по функции потерь. Это локальное приближение, которое часто может выходить за пределы целевого минимума и достигать более высокой точки на поверхности потерь, особенно если ваша скорость обучения высока.
Думайте об этом изображении как о функции потерь для модели только с одним параметром. Мы берем градиент в точке, умножаем на скорость обучения, чтобы спроецировать сегмент линии в направлении градиента (не показано). Затем мы берем значение x в конце этого отрезка линии в качестве обновленного параметра и, наконец, вычисляем потери при этом новом значении параметра.
Если наша скорость обучения была слишком высокой, то мы превысим минимум, на который указывал градиент, и, возможно, закончим с более высокими потерями, как показано на рисунке.
