Я обучил нейронную сеть с прямой связью для классификации несбалансированного набора данных (pos:neg=67:1) со следующей производительностью:
Высокий AUC: 0,964
Средняя точность: 0,592
Умеренный отзыв: 0,569
Точность и полнота более или менее схожи, примерно в соотношении 1:1.
Прочитав этот поток , я узнал, что мы можем улучшить модель, если у нее высокая AUC, но низкие показатели (например, точность и полнота).
Тем не менее, моя точность здесь составляет почти ~ 1: 1, если мне нужна модель со сбалансированной точностью и полнотой, хотя у меня здесь высокая AUC, Q1) правильно ли, что даже я играю с порогом классификации, я не будет лучшей модели? (Она выводится путем рассмотрения формы типичной кривой точности и полноты, так что точность и полнота не могут быть улучшены вместе, это всегда компромисс.)
Вопрос 2) Если это почти лучшая сбалансированная модель, которую я получаю, хотя и с высоким AUC, бесполезно ли использовать AUC для оценки производительности модели, классифицирующей несбалансированный набор данных, подобно тому, что предлагается здесь?
