如何计算ROCR包装中指定截断值的平均灵敏度和特异性？

Question

我用ROCR包来绘制ROC曲线。代码如下：

pred <- prediction(my.pred, my.label) 
perf <- performance(my.pred, 'tpr', 'fpr') 
plot(perf,avg="threshold") 

我pred和perf对象不是一个向量而是一个清单，这样我就可以得到一个平均ROC曲线。 任何人都可以告诉我如何计算ROCR包中的特定截止点的平均敏感度和特异性？

Answer 1

实际上，ROCR是这项任务的矫枉过正。在ROCR的函数performance返回其输入中存在的每个分数的性能指标。所以，理论上可以做到以下几点：

library(ROCR) 
set.seed(123) 
N <- 1000 
POSITIVE_CASE <- 'case A' 
NEGATIVE_CASE <- 'case B' 
CUTOFF <- 0.456 

scores <- rnorm(n=N) 
labels <- ifelse(runif(N) > 0.5, POSITIVE_CASE, NEGATIVE_CASE) 



pred <- prediction(scores, labels) 
perf <- performance(pred, 'sens', 'spec') 

此时perf包含了很多有用的信息：

> str(perf) 
    Formal class 'performance' [package "ROCR"] with 6 slots 
    ..@ x.name  : chr "Specificity" 
    ..@ y.name  : chr "Sensitivity" 
    ..@ alpha.name : chr "Cutoff" 
    ..@ x.values :List of 1 
    .. ..$ : num [1:1001] 1 1 0.998 0.996 0.996 ... 
    ..@ y.values :List of 1 
    .. ..$ : num [1:1001] 0 0.00202 0.00202 0.00202 0.00405 ... 
    ..@ alpha.values:List of 1 
    .. ..$ : num [1:1001] Inf 3.24 2.69 2.68 2.58 ... 

现在你可以在perf@alpha.values为您的积分截止搜索并找到相应的灵敏度和特异性值。如果你没有找到perf@alpha.values确切的临界值，你就必须做一些插值：

ix <- which.min(abs(perf@alpha.values[[1]] - CUTOFF)) #good enough in our case 
sensitivity <- perf@y.values[[1]][ix] #note the order of arguments to `perfomance` and of x and y in `perf` 
specificity <- perf@x.values[[1]][ix] 

它给你：

> sensitivity 
[1] 0.3319838 
> specificity 
[1] 0.6956522 

但还有一个更简单和更快的方式：你的标签字符串只是转换为二进制矢量和直接计算指标：

binary.labels <- labels == POSITIVE_CASE 
tp <- sum((scores > threshold) & binary.labels) 
sensitivity <- tp/sum(binary.labels) 
tn <- sum((scores <= threshold) & (! binary.labels)) 
specificity <- tn/sum(!binary.labels) 

，让你：

> sensitivity 
[1] 0.3319838 
> specificity 
[1] 0.6956522