Как мы можем интерпретировать результат классификации в weka с использованием наивного байесовского метода?
Как рассчитывается среднее значение, стандартное отклонение, сумма весов и точность?
Как рассчитывается статистика каппа, средняя абсолютная ошибка, среднеквадратическая ошибка и т. д.?
Как интерпретируется матрица путаницы?
Ниже приведен пример вывода наивного байесовского классификатора с использованием 10-кратной перекрестной проверки. Там много информации, и то, на чем вы должны сосредоточиться, зависит от вашего приложения. Я объясню некоторые из результатов ниже, чтобы вы начали.
=== Stratified cross-validation ===
=== Summary ===
Correctly Classified Instances 71 71 %
Incorrectly Classified Instances 29 29 %
Kappa statistic 0.3108
Mean absolute error 0.3333
Root mean squared error 0.4662
Relative absolute error 69.9453 %
Root relative squared error 95.5466 %
Total Number of Instances 100
=== Detailed Accuracy By Class ===
TP Rate FP Rate Precision Recall F-Measure ROC Area Class
0.967 0.692 0.686 0.967 0.803 0.709 0
0.308 0.033 0.857 0.308 0.453 0.708 1
Weighted Avg. 0.71 0.435 0.753 0.71 0.666 0.709
=== Confusion Matrix ===
a b <-- classified as
59 2 | a = 0
27 12 | b = 1
Правильно и неправильно классифицированные экземпляры показывают процент правильно и неправильно классифицированных тестовых экземпляров. Необработанные числа показаны в матрице путаницы, где a и b представляют метки классов. Здесь было 100 экземпляров, поэтому проценты и необработанные числа складываются, aa + bb = 59 + 12 = 71, ab + ba = 27 + 2 = 29.
Процент правильно классифицированных экземпляров часто называют точностью или точностью выборки. Он имеет некоторые недостатки в качестве оценки производительности (не скорректирован на случайность, не чувствителен к распределению классов), поэтому вы, вероятно, захотите взглянуть на некоторые другие числа. ROC Area, или площадь под кривой ROC, является моей предпочтительной мерой.
Каппа — это скорректированная на случайность мера соответствия между классификациями и истинными классами. Он рассчитывается путем вычитания ожидаемого совпадения из наблюдаемого совпадения и деления на максимально возможное согласие. Значение больше 0 означает, что ваш классификатор работает лучше, чем случайно (так и должно быть!).
Коэффициенты ошибок используются для числового предсказания, а не для классификации. В числовом прогнозировании прогнозы не просто правильные или неправильные, ошибка имеет величину, и эти меры отражают это.
Надеюсь, это поможет вам начать.
Чтобы уточнить ответ michaeltwofish, некоторые примечания об оставшихся значениях:
Коэффициент TP: процент истинно положительных результатов (экземпляры, правильно отнесенные к данному классу).
Показатель FP: уровень ложных срабатываний (экземпляры, ошибочно классифицированные как данный класс).
Точность: отношение количества экземпляров, которые действительно относятся к классу, к общему количеству экземпляров, классифицированных как этот класс.
Отзыв: доля экземпляров, отнесенных к определенному классу, разделенная на фактическое общее количество экземпляров в этом классе (эквивалентно показателю TP).
F-Measure: комбинированный показатель точности и полноты, рассчитываемый как 2 * точность * полнота / (точность + полнота).
Что касается измерения площади ROC, я согласен с michaeltwofish в том, что это одно из самых важных значений, выдаваемых Weka. «Оптимальный» классификатор будет иметь значения площади ROC, приближающиеся к 1, при этом 0,5 сравнимы со «случайным угадыванием» (аналогично статистике Каппа, равной 0).
Следует отметить, что при интерпретации результатов необходимо учитывать «баланс» набора данных. Несбалансированные наборы данных, в которых непропорционально большое количество экземпляров принадлежит определенному классу, могут привести к высоким показателям точности, даже если классификатор не обязательно будет особенно хорошим.
Дальнейшее чтение:
Это объяснение может помочь прояснить, что такое наивный байесовский < em>означает; он предполагает независимость переменных. Чтобы сделать это конкретным, предположим, что мы хотим предсказать, ходил ли кто-нибудь через Проспект-парк в Бруклине. У нас есть данные о том,
а) жить в Нью-Йорке
б) жить в городе
Наивный Байес предполагает, что эти две переменные независимы. Но очевидно, что если они живут в Нью-Йорке, они также живут в городе. Это глупый пример, потому что (надеюсь) никто никогда не будет использовать науку о данных с этими переменными, но он показывает, что означает независимость. Если а, то б. Кроме того, если не б, то и не а.
Зависимость существует, поэтому наивное предположение Байеса наивное не выполняется.
Эта страница может быть полезна новичкам. Это мне очень помогает; он проходит через
Я не связан с Джейсоном Браунли. Он кажется продажным, но преимущество в том, что он делает все просто, так как ориентируется на новичков.
Для некоторых алгоритмов он дает каждое значение «50050000», в то время как для других классификаторов эти значения составляют около 49,7, 87,4, 98,2 и так далее.
computer-vision, не могли бы вы уточнить свое редактирование для этого тега. - person Vishrant schedule 06.11.2017