2017-03-17 96 views
0

我试图在我的火车和测试数据集上运行不同类型的SVM回归。我所有的代码都在工作,但是我觉得我没有正确地运行它,因为在火车和测试中准确度都高于0.95,这个数字太高了。火车上的支持向量机和测试

以下是我如何运行回归的代码。数据集太大而无法上传(10000行等),但包含已缩放的所有数值变量。

我想我在自己的模型上而不是在火车模型上运行测试,但无法解决如何改变它。我想这是所有类型的SVM的同一个错误,所以我刚刚上传了两种方法,我正在做它的整洁。

我希望我解释得很好,如果不能更改的话。

##non linear methods 
set.seed(123) 
poly.tune = tune.svm(default_flag~., data=train, kernel="polynomial",degree=c(3), coef0=c(0.1)) 
#summary(poly.tune) 
#train 
best.poly = poly.tune$best.model 
poly.train = predict(best.poly, newdata=train) 
svmnonlintrain<-table(poly.train, train$default_flag) 
##accuracy from table 
nonlineartrain<-(svmnonlintrain[1,1]+svmnonlintrain[2,2])/(svmnonlintrain[1,1]+svmnonlintrain[1,2]+svmnonlintrain[2,1]+svmnonlintrain[2,2]) 

#test 
best.poly = poly.tune$best.model 
poly.test = predict(best.poly, newdata=test) 
svmnonlin<-table(poly.test, test$default_flag) 
##accuracy from table 
nonlineartest<-(svmnonlin[1,1]+svmnonlin[2,2])/(svmnonlin[1,1]+svmnonlin[1,2]+svmnonlin[2,1]+svmnonlin[2,2]) 

##radial basis function 
set.seed(123) 
rbf.tune = tune.svm(default_flag~., data=train, kernel="radial",gamma=c(0.1,0.5)) 
#summary(rbf.tune) 

#train 
best.rbf = rbf.tune$best.model 
rbf.train = predict(best.rbf, newdata=train) 
svmradialtrain <- table(rbf.train, train$default_flag) 
radialtrain<-(svmradialtrain[1,1]+svmradialtrain[2,2])/(svmradialtrain[1,1]+svmradialtrain[1,2]+svmradialtrain[2,1]+svmradialtrain[2,2]) 

#test 
best.rbf = rbf.tune$best.model 
rbf.test = predict(best.rbf, newdata=test) 
svmradial <- table(rbf.test, test$default_flag) 
radialtest<-(svmradial[1,1]+svmradial[2,2])/(svmradial[1,1]+svmradial[1,2]+svmradial[2,1]+svmradial[2,2]) 

回答

4

让我猜:这是一个信用风险的数据集,而您预测违约概率(响应变量default_flag)。如果这与其他所有信用风险数据集一样,那么您的非响应变量就会非常不平衡,并且会有比默认值更多的非缺省值。我会再次猜测它超过90%的非默认值。

如果是这样,只要预测每个人都不会默认,我就可以获得90%的准确度。当然,这不是很有用。

错误率并不是衡量不平衡数据的性能的非常有意义的度量。使用另一种度量,如AUC或基尼系数,或者甚至是熵(二元对数似然度)。