Публикации по теме 'batch-normalization'
Путаница последовательности функций нормализации и активации партии
Путаница в последовательности функций пакетной нормализации и активации
Процесс построения нейронной сети включает в себя множество методологий и приемов. Специалист по анализу данных должен внимательно наблюдать за влиянием каждой функции на результат работы сети, прежде чем принимать решение о выборе для этой сети. Специалисты по обработке данных и исследователи проводят масштабный анализ и исследования, чтобы сопоставить любую функцию с ситуацией, в которой она может работать..
Вопросы по теме 'batch-normalization'
размеры в пакетной нормализации
Я пытаюсь создать обобщенную функцию пакетной нормализации в Tensorflow .
Я узнаю о пакетной нормализации в этой очень доброй статье .
У меня проблема с размерами переменных scale и beta : в моем случае пакетная нормализация применяется к...
1639 просмотров
schedule
09.05.2024
Точность Caffe падает при тестировании по сравнению с обучением на том же наборе данных
У меня возникают проблемы со слоем Caffe BatchNorm на этапе тестирования. По крайней мере, я предполагаю, что это связано со слоем BatchNorm. Этот вопрос уже поднимался пару раз, но я так и не нашел решения, которое мне подходит.
Во время обучения...
192 просмотров
schedule
23.08.2023
Как включить пакетную нормализацию в непоследовательную модель keras
Я новичок в DL и Керасе. В настоящее время я пытаюсь реализовать Unet-подобную CNN, и теперь я хочу включить слои пакетной нормализации в свою непоследовательную модель, но не знаю, как это сделать.
Это моя текущая попытка включить его:...
4662 просмотров
schedule
17.03.2023
Обновление параметров пакетной нормализации в коде тензорного потока с несколькими графическими процессорами?
Я написал код Cnn для нескольких графических процессоров.
В этой ссылке они прокомментировали строку 249.
# Сохраняйте операции обновления пакетной нормализации только из # последней башни. В идеале мы должны получать обновления со всех #...
302 просмотров
schedule
24.06.2022
Что делает нормализация партии, если размер партии равен единице?
В настоящее время я читаю статью Иоффе и Сегеди о нормализации пакета, и мне интересно, что произойдет, если размер пакета будет установлен на единицу. Вычисление среднего значения мини-пакета (которое в основном является значением самой активации) и...
1000 просмотров
schedule
07.04.2022
Уровень BatchNorm на этапе 1 моей ResNet подключен ко всем остальным уровням BatchNorm. Почему?
Здесь я привел несколько скриншотов реализованной мной модели ResNet. Графики, созданные с помощью TensorBoard.
Это какая-то оптимизация, которую tenorflow делает в бэкэнде?
Я реализовал код с помощью Keras.
В модели два блока....
514 просмотров
schedule
17.09.2022
Что произойдет, если я использую пакетную нормализацию, но установлю batch_size = 1?
Поскольку я использую трехмерные медицинские изображения в качестве набора данных для обучения, размер пакета может быть установлен только на 1 из-за ограничений графического процессора. Некоторые люди сказали мне, что std dev будет 0, когда...
63 просмотров
schedule
21.02.2022
Уменьшает ли MaxPooling переоснащение?
Я обучил следующую модель CNN с меньшим набором данных, поэтому она выполняет переоснащение:
model = Sequential()
model.add(Conv2D(32, kernel_size=(3,3), input_shape=(28,28,1), padding='same'))
model.add(BatchNormalization())...
2250 просмотров
schedule
06.08.2023
Действительно странный результат на BatchNorm на тензорном потоке 2.1
Я получил очень странный результат на модели. Что ж, я тренировал его, и он получил результат с точностью примерно 99,5% при обучении, но, как вы видите на изображении ниже, результат проверки очень странный.
Журнал обучения
Итак, после...
151 просмотров
schedule
08.12.2022
Пакетная нормализация при передаче обучения
В настоящее время я передаю обучение, используя архитектуру MobilenetV2. Перед классификацией я добавил несколько плотных слоев сверху. Должен ли я добавить BatchNormalization между этими слоями?
base_model = MobileNetV2(weights='imagenet',...
319 просмотров
schedule
01.04.2023