Я хочу сравнить классификаторы наборов данных с помощью любого t-теста. мой вопрос здесь, что я должен использовать для этого сравнения. бывший. классификатор 1 Я построю столбец для точности, точности, полноты и т. д.; и то же самое для классификатора 2. Затем примените любой t-критерий. это логично? если нет, как я могу сделать это сравнение? и какой инструмент может сделать это сравнение?
заранее спасибо
Основной вопрос в том, что вы пытаетесь показать?
Вы можете попробовать то, что вы предлагаете (t-test), если вы уверены, что распределение точности (или того, что вы измеряете в разных наборах данных: полнота, точность и т. д.) нормально распределяется. По моему не понятно что они будут.
Чтобы сравнить эффективность двух классификаторов в наборе данных, люди обычно вычисляют кривую ROC и обычно используют Equal Частота ошибок или площадь под кривой (AUC). AUC связан со статистикой U Манна-Уитни.
Другая вещь, которую обычно делают при сравнении двух бинарных классификаторов по фиксированному набору данных, — это оценка теста Макнемара чтобы оценить, является ли разница в производительности статистически значимой.
