如何解释几乎完美的准确性和AUC-ROC，但零f1分数，精度和召回

Question

我正在训练ML逻辑分类器以使用python scikit-learn对两个类进行分类。他们处于非常不平衡的数据（约14300：1）。我的准确性和ROC-AUC几乎达到100％，但精确度，召回率和f1得分分别为0％。我知道准确度通常对非常不平衡的数据没有用，但为什么ROC-AUC指标也接近完美呢？

from sklearn.metrics import roc_curve, auc 

# Get ROC 
y_score = classifierUsed2.decision_function(X_test) 
false_positive_rate, true_positive_rate, thresholds = roc_curve(y_test, y_score) 
roc_auc = auc(false_positive_rate, true_positive_rate) 
print 'AUC-'+'=',roc_auc 

1= class1 
0= class2 
Class count: 
0 199979 
1  21 

Accuracy: 0.99992 
Classification report: 
      precision recall f1-score support 

      0  1.00  1.00  1.00  99993 
      1  0.00  0.00  0.00   7 

avg/total  1.00  1.00  1.00 100000 

Confusion matrix: 
[[99992  1] 
[ 7  0]] 
AUC= 0.977116255281 

以上是使用逻辑回归，下面是使用决策树，决策矩阵看起来几乎相同，但AUC是很大的不同。

1= class1 
0= class2 
Class count: 
0 199979 
1  21 
Accuracy: 0.99987 
Classification report: 
      precision recall f1-score support 

      0  1.00  1.00  1.00  99989 
      1  0.00  0.00  0.00  11 

avg/total  1.00  1.00  1.00 100000 

Confusion matrix: 
[[99987  2] 
[ 11  0]] 
AUC= 0.4999899989 

Answer 1

人们必须了解像准确性/精度ROC AUC和“逐点”度量之间关键的区别等ROC是一个阈值的函数。给定一个输出属于每个类的概率的模型（分类器），我们通常将元素分类到支持度最高的类。然而，有时我们可以通过改变这个规则来获得更好的分数，并且要求一个支持比另一个支持大2倍以实际分类为给定类。 这通常适用于不平衡数据集。通过这种方式，您实际上可以修改课程中学到的知识，以更好地适应您的数据。 ROC着眼于“如果我将这个阈值改变为所有可能的值会发生什么事情”，然后AUC ROC计算这样一条曲线的积分。

结果：

• 高AUC ROC VS低f1或其他“点”的度量，是指您的分类目前确实做得不好，但是你可以找到它的分数实际上是相当不错的门槛
• 低AUC ROC和低f1或其他“点”的度量，是指您的分类目前确实做得不好，甚至装修阈值不会改变它
• 高AUC ROC和高f1或其它“点“度量，意味着th在您的分类器目前做得不错，而对于其他许多阈值，它也会这么做
• 低AUC ROC vs高f1或其他“点”度量，意味着您的分类器目前做的不错，但对于其他许多其他值的阈值 - 这是非常糟糕的