交叉验证的预测为插入符和SVM

Question

似乎有是被调整模型时所产生的ROC /桑斯/规格之间的差异，通过对相同的数据集的模型进行的实际预测。我正在使用使用kernlab的ksvm的脱字符号。我没有遇到glm的这个问题。

data(iris) 
library(caret) 
iris <- subset(iris,Species == "versicolor" | Species == "setosa") # we need only two output classess 
iris$noise <- runif(nrow(iris)) # add noise - otherwise the model is too "perfect" 
iris$Species <- factor(iris$Species) 
fitControl <- trainControl(method = "repeatedcv",number = 10, repeats = 5, savePredictions = TRUE, classProbs = TRUE, summaryFunction = twoClassSummary) 

ir <- train(Species ~ Sepal.Length + noise, data=iris,method = "svmRadial", preProc = c("center", "scale"), trControl=fitControl,metric="ROC") 
confusionMatrix(predict(ir), iris$Species, positive = "setosa") 
getTrainperf(ir) # same as in the model summary 

什么是这种差异的根源？哪些是“真正的”，交叉验证后的预测？

Answer 1

看来功能getTrainPerf给出了最好的调整参数的平均性能结果的平均值，在重复交叉验证折。

这里是getTrainPerf是如何工作的：

getTrainPerf(ir) 
# TrainROC TrainSens TrainSpec method 
#1 0.9096  0.844  0.884 svmRadial 

其被以下列方式实现的：

ir$results 
#  sigma C ROC Sens Spec  ROCSD SensSD SpecSD 
#1 0.7856182 0.25 0.9064 0.860 0.888 0.09306044 0.1355262 0.1222911 
#2 0.7856182 0.50 0.9096 0.844 0.884 0.08882360 0.1473023 0.1218229 
#3 0.7856182 1.00 0.8968 0.836 0.884 0.09146071 0.1495026 0.1218229 
ir$bestTune 
#  sigma C 
#2 0.7856182 0.5 
merge(ir$results, ir$bestTune) 
#  sigma C ROC Sens Spec  ROCSD SensSD SpecSD 
#1 0.7856182 0.5 0.9096 0.844 0.884 0.0888236 0.1473023 0.1218229 

其也从性能结果上的交叉验证来获得折叠（10倍， 5次重复，10 * 5 =每个性能指标的总值）。

colMeans(ir$resample[1:3]) 
#  ROC Sens Spec 
# 0.9096 0.8440 0.8840 

因此，getTrainPerf只给出的交叉验证性能上具有最佳调谐参数在不同的时间（而不是在整个训练数据集）验证举行时的数据褶皱纪要（西格玛，C） 。

但是，如果你想预测对你的整个训练数据集，你需要使用predict功能与调整模型。