构建R中的ROC曲线

Question

我正在对数量进行集合预测。我在每个观测点都有大约20个预测值。我将有一个x％的事件定义，即最高观察值的95％。我正在尝试使用R来构建ROC曲线：

1. ROCR是基于概率的ROC评分的一个很好的包吗？
2. 您能否提供一个如何构建这个ROC曲线的例子？

只假设假数据集。

我正在阅读各种论文。但是我很困惑如何计算预测概率。

Answer 1

我鼓励你看看caretpackage。集体学习非常棒。它会根据RMSE，ROC（AUC）等通过交叉验证为您调整参数。这就是将您的数据分成更换样本，运行大量模型，同时调整参数并让您恢复最佳模型。

这里的vignette（包装页面上列出）非常好，您会看到示例显示绘制ROC曲线。

但是，如果您正在寻找的是从预测中计算ROC分数并提供数据的简单方法，请查看this pdf的第11页。