Публикации по теме 'cross-entropy'
Понимание softmax, кросс-энтропии и KL-дивергенции
Допустим, у меня есть классификатор для классификации кошек, собак и свиней. Есть много возможных способов реализации этого. Но самый простой способ — отдельно обучить три функции оценки: f ᶜᵃᵗ(⋅), f ᵈᵒᵍ(⋅) и f ᵖᶦᵍ(⋅). и классифицировать ввод в класс с наивысшим баллом. Например, при вводе x мы классифицируем x как кошку, если f ᶜᵃᵗ( x )› f ᵈᵒᵍ( x ) и f ᶜᵃᵗ( x )› f ᵖᶦᵍ( х ).
Этот тип классификатора принимает жесткое -решение для каждого входа. Вне зависимости от того,..
Вопросы по теме 'cross-entropy'
Расчет кросс-энтропии в TensorFlow
Мне сложно вычислить кросс-энтропию в тензорном потоке. В частности, я использую функцию:
tf.nn.softmax_cross_entropy_with_logits()
Используя, казалось бы, простой код, я могу заставить его вернуть только ноль.
import tensorflow as tf...
28204 просмотров
schedule
11.10.2023
Бинарная кроссентропия для наказания всех компонентов одного горячего вектора
Я понимаю, что двоичная кросс-энтропия - это то же самое, что категориальная кросс-энтропия в случае двух классов.
Кроме того, мне ясно, что такое softmax. Таким образом, я вижу, что категориальная кросс-энтропия просто наказывает один компонент...
2009 просмотров
schedule
29.09.2023
маскирующие вероятности перед вычислением кросс-энтропии в тензорном потоке
Я нахожусь в условиях обучения с подкреплением, где пространство действий моей среды зависит от состояния. В итоге я прохожу следующую процедуру при выборке поведенческих действий:
(1) генерировать логиты вероятности для всех возможных действий...
904 просмотров
schedule
12.09.2023
caffe softmax со слоем потерь для расчета потерь семантической сегментации
Документация caffe по файлу softmax_loss_layer.hpp , по-видимому, нацелена на задачи классификации, а не на семантическую сегментацию. Однако я видел, как этот слой использовался для последнего.
Каковы будут размеры входных и выходных...
459 просмотров
schedule
29.04.2023
Как применить бинарную кросс-энтропию поэлементно, а затем просуммировать все эти потери в Keras?
Я хочу написать функцию с двумя аргументами, A и B , тензорами одинаковой формы (например, 13x13 или другой формы), и которая возвращает число, которое представляет собой сумму всех потерь при применении двоичной кросс-энтропии покомпонентно. ....
1140 просмотров
schedule
10.04.2024
От веса до потери кроссэнтропии
Скажем, у меня есть два класса, класс A (100 образцов) и класс B (100 образцов) в обучении, но во время тестирования класс A имеет (1000 образцов), а класс B (100 образцов). Как я должен рассчитывать и использовать веса для взвешенной потери...
238 просмотров
schedule
20.02.2022
Применение метода PyTorch CrossEntropy для мультиклассовой сегментации
Я пытаюсь реализовать простой пример того, как применить кросс-энтропию к тому, что должно быть результатом моей семантической сегментации CNN.
Используя формат pytorch, у меня было бы что-то вроде этого:
out = np.array([[
[
[1.,1,...
5040 просмотров
schedule
03.04.2022
Бинарная кросс-энтропия против категориальной кросс-энтропии с 2 классами
При рассмотрении проблемы классификации входа в один из 2 классов, 99% примеров, которые я видел, использовали NN с одним выходом и сигмоидой в качестве их активации с последующей двоичной кросс-энтропийной потерей. Другой вариант, о котором я...
401 просмотров
schedule
12.03.2022
Размер мини-пакета PyTorch CrossEntropyLoss
Я пытаюсь построить простой пример с нулевым CrossEntropyLoss, с тремя классами и размером мини-пакета = 1:
ce_loss = nn.CrossEntropyLoss()
outputs = torch.tensor([[1,0,3]], dtype=float)
targets = torch.tensor([1,0,3], dtype=torch.int64)
loss =...
1197 просмотров
schedule
27.06.2022
Почему моя глубокая нервная сеть медленно спускается с softmax в полностью подключенном слое, а не без softmax в полностью подключенном слое?
Я просто строю глубокие нервные сети, и моя сеть сходится быстрее, когда на полностью подключенном уровне нет функции активации (softmax). Но когда я добавляю эту функцию softmax, сходимость действительно плохая и даже стоп с очень большими потерями....
110 просмотров
schedule
01.09.2023
Потеря кроссэнтропии Pytorch с 3D-входом
У меня есть сеть, которая выводит трехмерный тензор размера (batch_size, max_len, num_classes) . Моя гордая правда в форме (batch_size, max_len) . Если я выполню однократное кодирование этикеток, они будут иметь форму (batch_size, max_len,...
784 просмотров
schedule
14.04.2022
Выбор метрики проверки для `categorical_crossentropy` в Керасе
Я смотрю на эти два вопроса и документацию:
Каков результат для метрик Keras categorical_accuracy?
Категориальная кроссэнтропия должна использовать categorical_accuracy или точность как метрики в keras?...
149 просмотров
schedule
28.12.2023
UNET с функцией потери CrossEntropy
Я пытался обучить UNET с размером ввода как [3,128,128] и соответствующей маской [1,128,128], которая содержит классы напрямую (вместо пикселей она будет содержать номера классов - 1,2). Я пытаюсь решить проблему с двумя классами, поэтому моя маска...
123 просмотров
schedule
27.08.2022
Pytorch - RuntimeError: ожидаемый объект скалярного типа Long, но получил скалярный тип Float для аргумента № 2 «цель» при вызове _thnn_nll_loss_forward
Я пробовал и экспериментировал с PyTorch, где я создавал свои собственные входы и цели. Я передал эти входные данные модели (которая представляет собой базовую ИНС с двумя скрытыми слоями, в этом нет ничего плохого). Но по какой-то причине я не могу...
40 просмотров
schedule
27.04.2023
