2013-02-19 97 views
12

当使用auc_score作为分数函数时,GridSearchCV是否使用预测或predict_proba?当使用auc_score作为分数函数时,GridSearchCV是否使用预测或predict_proba?

预测函数生成预测的类标签,它将始终生成三角形ROC曲线。使用预测的类概率获得更加曲线的ROC曲线。就我所知,后者是更准确的。如果是这样,那么'曲线'ROC曲线下的面积可能是衡量网格搜索中分类性能的最佳方法。

因此,我很好奇,如果在网格搜索中使用类标签或类概率,那么使用ROC曲线下的区域作为性能测量时。我试图找到代码中的答案,但无法弄清楚。这里有人知道答案吗?

感谢

回答

21

要使用auc_score网格搜索你真的需要使用predict_probadecision_function正如你所指出。 这在0.13版本中是不可能的。如果你做score_func=auc_score它将使用predict这没有任何意义。

[编辑]由于0.14 [/编辑] ,能够使用auc_score做网格搜索,由新scoring参数设置为roc_aucGridSearch(est, param_grid, scoring='roc_auc')。它会做正确的事情,并使用predict_proba(或decision_function,如果predict_proba不可用)。 请参阅whats new page of the current dev version

您需要从github安装当前主服务器才能获得此功能,或者等到4月(?)为0.14。

+0

感谢您的回答。我将从github安装当前的主控以获得所需的功能。 – 2013-02-20 11:37:46

+0

对新功能的反馈非常受欢迎;) – 2013-02-23 14:33:16

+0

对于自定义函数?,我的意思是我想使用一个评分函数,该函数用分数和一个predict_proba y矩阵进行评分。 – avances123 2014-12-18 16:39:34

相关问题