Публикации по теме 'batch-normalization'


Путаница последовательности функций нормализации и активации партии
Путаница в последовательности функций пакетной нормализации и активации Процесс построения нейронной сети включает в себя множество методологий и приемов. Специалист по анализу данных должен внимательно наблюдать за влиянием каждой функции на результат работы сети, прежде чем принимать решение о выборе для этой сети. Специалисты по обработке данных и исследователи проводят масштабный анализ и исследования, чтобы сопоставить любую функцию с ситуацией, в которой она может работать..

Вопросы по теме 'batch-normalization'

размеры в пакетной нормализации
Я пытаюсь создать обобщенную функцию пакетной нормализации в Tensorflow . Я узнаю о пакетной нормализации в этой очень доброй статье . У меня проблема с размерами переменных scale и beta : в моем случае пакетная нормализация применяется к...
1639 просмотров

Точность Caffe падает при тестировании по сравнению с обучением на том же наборе данных
У меня возникают проблемы со слоем Caffe BatchNorm на этапе тестирования. По крайней мере, я предполагаю, что это связано со слоем BatchNorm. Этот вопрос уже поднимался пару раз, но я так и не нашел решения, которое мне подходит. Во время обучения...
192 просмотров
schedule 23.08.2023

Как включить пакетную нормализацию в непоследовательную модель keras
Я новичок в DL и Керасе. В настоящее время я пытаюсь реализовать Unet-подобную CNN, и теперь я хочу включить слои пакетной нормализации в свою непоследовательную модель, но не знаю, как это сделать. Это моя текущая попытка включить его:...
4662 просмотров

Обновление параметров пакетной нормализации в коде тензорного потока с несколькими графическими процессорами?
Я написал код Cnn для нескольких графических процессоров. В этой ссылке они прокомментировали строку 249. # Сохраняйте операции обновления пакетной нормализации только из # последней башни. В идеале мы должны получать обновления со всех #...
302 просмотров

Что делает нормализация партии, если размер партии равен единице?
В настоящее время я читаю статью Иоффе и Сегеди о нормализации пакета, и мне интересно, что произойдет, если размер пакета будет установлен на единицу. Вычисление среднего значения мини-пакета (которое в основном является значением самой активации) и...
1000 просмотров
schedule 07.04.2022

Уровень BatchNorm на этапе 1 моей ResNet подключен ко всем остальным уровням BatchNorm. Почему?
Здесь я привел несколько скриншотов реализованной мной модели ResNet. Графики, созданные с помощью TensorBoard. Это какая-то оптимизация, которую tenorflow делает в бэкэнде? Я реализовал код с помощью Keras. В модели два блока....
514 просмотров

Что произойдет, если я использую пакетную нормализацию, но установлю batch_size = 1?
Поскольку я использую трехмерные медицинские изображения в качестве набора данных для обучения, размер пакета может быть установлен только на 1 из-за ограничений графического процессора. Некоторые люди сказали мне, что std dev будет 0, когда...
63 просмотров

Уменьшает ли MaxPooling переоснащение?
Я обучил следующую модель CNN с меньшим набором данных, поэтому она выполняет переоснащение: model = Sequential() model.add(Conv2D(32, kernel_size=(3,3), input_shape=(28,28,1), padding='same')) model.add(BatchNormalization())...
2250 просмотров

Действительно странный результат на BatchNorm на тензорном потоке 2.1
Я получил очень странный результат на модели. Что ж, я тренировал его, и он получил результат с точностью примерно 99,5% при обучении, но, как вы видите на изображении ниже, результат проверки очень странный. Журнал обучения Итак, после...
151 просмотров

Пакетная нормализация при передаче обучения
В настоящее время я передаю обучение, используя архитектуру MobilenetV2. Перед классификацией я добавил несколько плотных слоев сверху. Должен ли я добавить BatchNormalization между этими слоями? base_model = MobileNetV2(weights='imagenet',...
319 просмотров