Активация узла нейронной сети определяется следующим:
output = activation_function(dot_product(weights, inputs) + bias)
Это означает, что при вычислении выхода узла входные данные умножаются на веса, а к результату добавляется значение смещения. Значение смещения позволяет смещать функцию активации влево или вправо, чтобы лучше соответствовать данным. Следовательно, изменения весов изменяют крутизну сигмовидной кривой, в то время как смещение смещает ее, сдвигая всю кривую, чтобы она лучше соответствовала. Обратите также внимание на то, что смещение влияет только на выходные значения, а не на фактические входные данные.
Вы можете думать о смещении как о мере того, насколько легко запустить узел. Для узла с большим смещением выход будет иметь тенденцию быть изначально высоким, с небольшими положительными весами и входами, дающими большие положительные выходы (близкие к 1). Смещения также могут быть отрицательными, что приводит к сигмовидным выходам, близким к 0. Если смещение очень мало (или 0), выход будет определяться только значениями весов и входов.
Однако имейте в виду, что смещение в узлах нейронной сети не эквивалентно порогу перцептрона, который выводит 1 только при достаточном вводе. Нейроны не имеют двоичных порогов молчания / срабатывания, вместо этого у них есть функции активации, которые производят нелинейный выходной сигнал от 0 до 1. Таким образом, роль смещения не в том, чтобы действовать как порог, а в том, чтобы помочь обеспечить наилучшее соответствие выходного сигнала. входящий сигнал.
Смещения настраиваются вместе с весами с помощью алгоритмов обучения, таких как градиентный спуск. Смещения отличаются от весов тем, что они не зависят от результатов предыдущих уровней. Концептуально смещение вызвано входом от нейрона с фиксированной активацией 1, и поэтому обновляется путем вычитания только произведения дельта-значения и скорости обучения.
Обычно смещения инициализируются равными нулю, поскольку нарушение асимметрии обеспечивается небольшими случайными числами в весах (см. Инициализация веса).
Примечание: термин смещение также используется для обозначения систематических ошибок в модели, тенденции постоянно получать одни и те же результаты неверно. Это обычно возникает, когда модель слишком проста и поэтому не может представить сложность базовых данных, что приводит к тому, что алгоритм пропускает соответствующие отношения между характерными особенностями и ожидаемыми выходными данными, несмотря на наличие более чем достаточного количества обучающих данных - проблема, называемая недостаточной подгонкой. . Что-то объясняю здесь.
См. также:
- Http://neuralnetworksanddeeplearning.com/chap1.html
- Роль предвзятости в нейронных сетях - Stack overflow на русском
- Что такое предвзятость в нейронной сети? - Quora
