Вопросы по теме 'activation-function'

Обучение модели TensorFlow для регрессии, когда метки являются вероятностями
Я собираюсь обучить нейронную сеть (например, сеть с прямой связью), в которой на выходе будет просто действительное значение, представляющее вероятность (и, следовательно, в интервале [0, 1]). Какую функцию активации следует использовать для...
260 просмотров

Как сделать кусочную функцию активации с Python в TensorFlow?
Активная функция в моей CNN имеет вид: abs(X)< tou f = 1.716tanh(0.667x) x >= tou f = 1.716[tanh(2tou/3)+tanh'(2tou/3)(x-tou)] x <= -tou f = 1.716[tanh(-2tou/3)+tanh'(-2tou/3)(x+tou)] tou является константой. Итак, в...
547 просмотров

Отличается ли инициализация веса для плотных и сверточных слоев?
В плотном слое следует инициализировать веса в соответствии с некоторым эмпирическим правилом. Например, в RELU веса должны исходить из нормального распределения и масштабироваться как 2/n, где n — количество входных данных для слоя ( согласно Эндрю...
1588 просмотров

Глубокая нейронная сеть не обучается
Я тренирую MNIST на 8 слоях (1568-784-512-256-128-64-32-10) полносвязной глубокой нейронной сети с вновь созданной функцией активации, как показано на рисунке ниже. Эта функция немного похожа на ReLU, однако, дает кривую помета на «изломе». Он...
730 просмотров

Есть ли лучшая функция активации для моей нейронной сети?
Я пишу программу для распознавания рукописных букв. У меня есть изображения 500px * 500px, которые я импортирую как BufferedImages, и я принимаю значение getRBG() каждого пикселя в качестве входных данных для нейронной сети, поэтому есть 250 000...
54 просмотров

какую функцию активации я должен использовать для принудительного округления, подобного поведению
Мне нужна функция активации, которая округляет мои тензоры. производная (градиенты) функции round() равна 0 (или None в тензорном потоке), что делает ее непригодной для использования в качестве функции активации. Я ищу функцию, которая...
394 просмотров

XOR NN не поддается обучению с 2 скрытыми узлами и сигмовидной активацией?
Я чувствовал, что моя интуиция обратного распространения не совсем ясна, поэтому я написал класс нейронной сети для обучения/прогнозирования XOR. Он имеет 2 входа, 1 выход, переменное количество скрытых узлов и узлы смещения для скрытого и выходного...
158 просмотров

Могу ли я использовать сигмовидную активацию для моего выходного слоя, даже если моя модель CNN выполняет регрессию?
Конечная цель: расчет средней точки объекта. У меня есть небольшой набор данных (около 120 изображений), в котором есть объект (одинаковый во всех случаях), а метки - это нормализованные координаты x, y средней точки объекта на изображении (всегда...
1181 просмотров

Есть ли простой способ расширить существующую функцию активации? Моя пользовательская функция softmax возвращает: операция имеет «Нет» для градиента
Я хочу реализовать попытку ускорить softmax, используя только верхние значения k в векторе. Для этого я попытался реализовать пользовательскую функцию для тензорного потока для использования в модели: def softmax_top_k(logits, k=10):...
84 просмотров

Где я должен определить производную от пользовательской функции активации в Keras
Я новичок в Python, глубоком обучении и нейронных сетях. Я сделал кастомную функцию активации. Что я хочу знать, когда делаю настраиваемую функцию активации, которая является корнем из сигмоида, где я должен определить производную для моей...
273 просмотров
schedule 23.07.2022

Как указать model.compile для binary_crossentropy, Activation = sigmoid и Activation = softmax?
Я пытаюсь понять, как сопоставить activation=sigmoid и activation=softmax с правильными model.compile( ) параметрами потерь. В частности, те, которые связаны с binary_crossentropy . Я изучил связанные темы и прочитал документы. Также я...
1305 просмотров

Путаница в отношении функций активации нейронных сетей
Я следил за учебником по классификатору изображений с использованием Python и Tensorflow. Сейчас я пытаюсь применить глубокое обучение к нестандартной ситуации. Я сделал программу моделирования продавцов / покупателей, в которой покупатели...
282 просмотров