Расчет точности для многоклассовой классификации

Ответ на вопрос 1. Кажется, что точность используется только в бинарной классификации, проверьте эта ссылка. Вы ссылаетесь на ответ на этом сайте, но он также касается бинарной классификации (т.е. классификации только на 2 класса). Кажется, у вас более двух классов, и в этом случае вам следует попробовать что-то еще или классификацию «один против всех» для каждого класса (для каждого класса прогноз синтаксического анализа для class_n и non_class_n).

Ответ на вопрос 2. Та же проблема, этот показатель подходит для бинарной классификации, что не относится к вашему случаю.

Формула чувствительности:

TP./(TP + FN)

Формула точности такова:

(TP)./(TP+FN+FP+TN)

См. документацию здесь.

ОБНОВЛЕНИЕ

И если вы хотите использовать матрицу путаницы, у вас есть:

ТП по диагонали, на уровне класса ФН сумма всех значений в столбце класса. В функции getvalues начинаем считать строки из объявления функции и проверяем строки 30 и 31:

TP(i)=c_matrix(i,i);
FN(i)=sum(c_matrix(i,:))-c_matrix(i,i);
FP(i)=sum(c_matrix(:,i))-c_matrix(i,i);
TN(i)=sum(c_matrix(:))-TP(i)-FP(i)-FN(i);

Если вы примените формулу точности, вы получите после вычисления и упрощения:

accuracy = c_matrix(i,i) / sum(c_matrix(:))

Для чувствительности, которую вы получаете после упрощения:

sensitivity =  c_matrix(i,i) / sum(c_matrix(i,:))

Если вы хотите лучше понять, просто проверьте ссылки, которые я вам отправил.

Вопрос1) Верна ли моя формула для точности каждого класса?

Нет, формула, которую вы используете, предназначена для чувствительности (отзыва). Смотри ниже.

Для расчета точности каждого отдельного класса, скажем, для положительного класса, я должен взять TP в числителе. Точно так же для точности только отрицательного класса я должен учитывать TN в числителе в формуле для точности. Применима ли та же формула к бинарной классификации? Правильно ли моя реализация?

Точность — это отношение количества правильно классифицированных экземпляров к общему количеству экземпляров. TN, или количество экземпляров, правильно идентифицированных как не принадлежащих к классу, также являются правильно классифицированными экземплярами. Вы не можете просто оставить их.

Точность также обычно используется только для оценки всего классификатора для всех классов, а не отдельных классов. Однако вы можете обобщить формулу точности для обработки отдельных классов, как это делается здесь для вычисления средней точности классификации для мультиклассового классификатора. (См. также эту статью.)

Формула, которую они используют для каждого класса:

Как видите, она идентична обычной формуле точности, но мы учитываем только оценки TP и TN отдельного класса (в знаменателе по-прежнему остается общее количество наблюдений). Применяя это к вашему набору данных, мы получаем:

acc_1 = (2000+3966)/(2000+34+0+3966) = 0.99433
acc_2 = (1966+4000)/(1966+0+34+4000) = 0.99433
acc_3 = (2000+4000)/(2000+0+0+4000)  = 1.00000

Это, по крайней мере, имеет более интуитивный смысл, поскольку первые два класса неправильно классифицировали экземпляры, а третий — нет. Полезны ли эти меры вообще — другой вопрос.

Вопрос2) Верна ли моя формула для определения чувствительности?

Да, чувствительность задается как:

TP / TP+FN

что является отношением экземпляров, правильно идентифицированных как находящиеся в этом классе, к общему количеству экземпляров в классе. В бинарном классификаторе вы по умолчанию вычисляете чувствительность для положительного класса. Чувствительность для отрицательного класса - это частота ошибок (также называемая частотой промахов или ложноотрицательной частотой в статье в Википедии) и просто:

FN / TP+FN === 1 - Sensitivity

ФН не более чем ТП для негативного класса! (Смысл TP также меняется на противоположный.) Поэтому естественно распространить это на все классы, как вы это сделали.

Тогда почему я получаю тот же ответ, что и точность отдельных классов?

Потому что вы используете одну и ту же формулу для обоих.

Посмотрите на свою матрицу путаницы:

cm_matrix = 
                predict_class1    predict_class2    predict_class3
                 ______________    ______________    ______________

Actual_class1         2000                 0                 0     
Actual_class2           34              1966                 0     
Actual_class3            0                 0              2000

ТП для 1 класса очевидно 2000

cm_matrix(1,1)

FN — это сумма двух других столбцов в этой строке. Следовательно, TP+FN — это сумма строки 1

sum(cm_matrix(1,:) 

Это именно та формула, которую вы использовали для точности.

acc_1  = 100*(cm_matrix(1,1))/sum(cm_matrix(1,:)) = 100*(2000)/(2000+0+0) = 100