Публикации по теме 'kl-divergence'


Понимание softmax, кросс-энтропии и KL-дивергенции
Допустим, у меня есть классификатор для классификации кошек, собак и свиней. Есть много возможных способов реализации этого. Но самый простой способ — отдельно обучить три функции оценки: f ᶜᵃᵗ(⋅), f ᵈᵒᵍ(⋅) и f ᵖᶦᵍ(⋅). и классифицировать ввод в класс с наивысшим баллом. Например, при вводе x мы классифицируем x как кошку, если f ᶜᵃᵗ( x )› f ᵈᵒᵍ( x ) и f ᶜᵃᵗ( x )› f ᵖᶦᵍ( х ). Этот тип классификатора принимает жесткое -решение для каждого входа. Вне зависимости от того,..