Площадь pROC под кривой неверна?

Моя текущая проблема: я использовал пакет caret для создания моделей прогнозирования классификации и хотел проверить свои модели с помощью определенной метрики (AUC ROC). Метрика AUC доступна для обучения модели с обучающим набором (внутренняя проверка), но НЕ для прогнозирования (внешняя проверка).

<сильный>1. Внутренняя проверка:

Fit <- train(X, Y$levels, method= "svmRadial", trControl = fitControl, tuneLength = 20, metric = "ROC")

Полученные результаты :

sigma C ROC Sens Spec ROCSD SensSD SpecSD 0.0068 2.00 0.83 0.82 0.57 0.149 0.166 0.270

<сильный>2. Внешняя проверка:

Чтобы получить доступ к AUC внешней проверки, я попытался предсказать свой тренировочный набор и рассчитать эту метрику напрямую с помощью pROC.

predictions <- as.vector(predict(Fit$finalModel, newdata = X)) data <- data.frame(pred=as.numeric(predictions),obs=as.numeric(Y$levels)) pROC::roc(data$pred, data$obs)

Результаты: Area under the curve: 0.9057

<сильный>3. Вывод:

Результаты: AUC(internal validation) != AUC(external validation) тогда как я использовал те же данные (обучающий набор), чтобы проверить мой критерий внешней проверки ROC. В лучшем случае я смогу получить максимальное значение 0,83. Однако мне показалось бы очень странным, что AUC(internal validation) < AUC(external validation).

Я понятия не имею, как решить эту загадку (8-/ скептически). Любая помощь приветствуется.