Нейронные сети прямого распространения (FFNN)
ВСТУПЛЕНИЕ
В самом общем виде нейронная сеть - это машина, которая предназначена для моделирования того, как мозг выполняет конкретную задачу или интересующую функцию; сеть обычно реализуется с использованием электронных компонентов или моделируется в программном обеспечении на цифровом компьютере.
Для достижения хорошей производительности нейронные сети используют массивное соединение простых вычислительных ячеек, называемых “neurons”, perceptrons или «процессорами».
Таким образом, мы можем предложить следующее определение нейронной сети:
Нейронная сеть - это распределенный процессор с массовым параллелизмом, состоящий из простых процессоров, который имеет естественную склонность хранить опытные знания и делать их доступными для использования. Он похож на мозг в двух отношениях:
- Знания приобретаются сетью из окружающей среды в процессе обучения.
- Сила взаимосвязей нейронов, известная как синаптические веса, используется для хранения полученных знаний.
Как и в человеческом мозге, рецепторы преобразуют стимулы от человеческого тела или внешней среды в электрические импульсы, которые передают информацию в нейронную сеть (мозг). Эффекторы преобразуют электрические импульсы, генерируемые нейронной сетью, в различимые отклики, являющиеся выходными сигналами системы.
Нейронная сеть прямого распространения (FFNN)
Модели нейрона
neuron - это блок обработки информации, который играет фундаментальную роль в работе нейронной сети.
Здесь мы выделяем три основных элемента нейронной модели:
- Набор синапсов (нервных окончаний) или соединительных звеньев, каждое из которых характеризуется знаком 𝑤𝑒𝑖𝑔ℎ𝑡 или 𝑠𝑡𝑟𝑒𝑛𝑔𝑡ℎ Самостоятельно. В частности, сигнал 𝑥𝑗 на входе синапса 𝑗, подключенного к нейрону 𝑘, умножается на синаптический вес 𝑤𝑘𝑗 . Важно отметить способ написания индексов синаптического веса 𝑤𝑘𝑗. Первый индекс в 𝑤𝑘𝑗 относится к рассматриваемому нейрону, а второй индекс относится к входному концу синапса, к которому относится вес. **
- сумматор для суммирования входных сигналов, взвешенных по соответствующей силе синапсов нейрона; описанные здесь операции составляют
linear combiner. - функция активации для ограничения амплитуды выходного сигнала нейрона. Функция активации также называется функцией сжатия, поскольку она сжимает (ограничивает) допустимую амплитуду. диапазон выходного сигнала до некоторого конечного значения. Обычно нормализованный диапазон амплитуды выходного сигнала нейрона записывается как замкнутый единичный интервал [0,1] или, альтернативно, [-1,1].
Нейрон скрытого слоя
С математической точки зрения мы можем описать нейрон - 𝑗, изображенный на рисунке 2, написав пару уравнений:
где 𝑥 1, 𝑥 2,…, 𝑥𝑚 - входные сигналы; 𝑤𝑗 1, 𝑤𝑗 2,…, 𝑤𝑗𝑚 - соответствующие синаптические веса нейрона 𝑗; net ℎ𝑗 - это выход линейного сумматора из-за входных сигналов; 𝑓 (⋅) - функция активации; и 𝐼𝑗 - выходной сигнал нейрона.
Выходной слой нейрона
С математической точки зрения, мы можем описать нейрон 𝑘, изображенный на рисунке 3, написав пару уравнений:
Экспресс скрытая нейронная сеть:
Синаптические веса скрытой нейронной сети могут быть выражены как:
Вся скрытая нейронная сеть может быть выражена как:
Нейронная сеть экспресс-вывода:
Синаптические веса скрытой нейронной сети могут быть выражены как:
Вся скрытая нейронная сеть может быть выражена как:
Пример_1.
Дана следующая НС с весами:
Входные данные:
Используется следующая функция активации:
Решение:
==========
Первая пара
==========
==========
2-я пара
==========
==========
3-я пара
==========
==========
4-я пара
==========
Конечный результат:
Вывод [(0,0), (0,1), (1,0), (1,1)]: [0, 1, 1, 0]
Это означает, что наша нейронная сеть действует как XOR логический вентиль.
Функция активации
Функция активации может принимать несколько форм в зависимости от проблемы, будь то регрессия или классификация. Вот несколько примеров функций активации.
Сигмоид и tanh используются для двоичной классификации, тогда как softmax используется для задач множественной классификации.
ReLU и Leaky ReLU используются для решения проблем регрессии. Активация Maxout является обобщением функций ReLU и дырявого ReLU.
Применение смещения к нейронным сетям.
Нейронная модель на рисунке 5 включает внешнее смещение, обозначенное 𝑏𝑘. смещение (𝑏𝑘) имеет эффект увеличения или уменьшения чистого ввода функции активации в зависимости от будь то положительный или отрицательный, соответственно.
С математической точки зрения, мы можем описать нейрон 𝑘, написав пару уравнений:
где 𝑥 1, 𝑥 2,…, 𝑥𝑚 - входные сигналы; 𝑤𝑘 1, 𝑤𝑘 2,…, 𝑤𝑘𝑚 - соответствующие синаптические веса нейрона 𝑘; 𝑢𝑘 (не показан на рис. выше) - выход линейного сумматора из-за входных сигналов; 𝑏𝑘 - предвзятость; 𝜑 (·) - функция активации; и 𝑦𝑘 - выходной сигнал нейрона. Использование смещения 𝑏𝑘 приводит к применению аффинного преобразования к выходным данным 𝑢𝑘 линейного сумматора в модель как показано.
(подробнее об аффинном преобразовании здесь)
Где 𝑣𝑘 называется индуцированным локальным полем или потенциалом активации
Таким образом, эквивалентно, мы можем сформулировать комбинацию приведенных выше уравнений.
В приведенной выше формуле. мы добавили новый синапс. Его ввод:
Поэтому мы можем переформулировать модель нейрона 𝑘, как показано на рисунке 6. На этом рисунке влияние смещения учитывается двумя способами: (1) добавлением нового входного сигнала с фиксированным значением + 1 и (2) добавление нового синаптического веса, равного смещению 𝑏𝑘. Хотя модели на рис. 5 и 6 разные по внешнему виду, математически эквивалентны.
Надеюсь, вам понравилось работать с нейронными сетями, и ждем, когда они будут еще больше использоваться в глубоком обучении.
