Как оценить правильность и соответствие модели (оценщик)

У меня есть дерево решений (но вопрос общий для любой другой модели оценки).

models[[1]]<- J48(NSP~., data=training)

Я хотел бы посмотреть, насколько хороша модель по данным тестирования:

pred <- predict(models[[1]], testing)

Я хотел бы получить количество правильных оценок моделей [[1]] по сравнению с фактическим (в столбце NSP тестирования). Как мне это сделать?

Есть ли другой способ оценить, насколько хороша моя модель (models[[1]]) или насколько она соответствует данным?


person Avi    schedule 13.09.2015    source источник
comment
Действительно ли это статистический вопрос для перекрестной проверки? или только о программировании?   -  person Peter Ellis    schedule 13.09.2015
comment
Это касается аспекта программирования. Практическая реализация.   -  person Avi    schedule 13.09.2015
comment
Было бы неплохо узнать, является ли ваше дерево деревом классификации или регрессии. Другими словами, если ваш ПОШ является категориальным (возможно, бинарным) или непрерывным/масштабным. Если это двоичный файл, вам нужно узнать, как использовать матрицу путаницы (просто перекрестную таблицу) и как построить и интерпретировать кривую ROC. Будет полезно: stats.stackexchange.com/questions/171915/ и stackoverflow.com/questions/32292905/   -  person AntoniosK    schedule 13.09.2015
comment
АнтониосК большое спасибо! NSP является категоричным и может иметь 3 возможных значения: 1, 2 и 3.   -  person Avi    schedule 13.09.2015


Ответы (1)


Вот решение:

mean (pred == testing$NSP)
person Avi    schedule 13.09.2015
comment
Не могли бы вы отредактировать свой ответ, чтобы добавить небольшое объяснение того, как это решает вопрос? - person Kenster; 13.09.2015