跨栏模型的验证？

Question

我构建了一个跨栏模型，然后使用该模型使用预测命令从已知数据点到未知数据点进行预测。有没有方法来验证模型和这些预测？我是否必须分两部分来完成这个工作，例如对模型的二项式部分使用灵敏度和特异性？ 有关如何评估此模型有效性的其他想法？

Answer 1

对于验证预测模型，我通常相信Cross-Validation。

简而言之：通过交叉验证，您可以仅使用训练数据（具有已知结果的数据）来测量模型的预测性能。因此，您可以就您的模型如何工作获得一般意见。交叉验证适用于各种不同的模型。缺点是它可能会导致相当大的计算量。

对于大数据集，10倍交叉验证就足够了。你的数据集越小，你必须做的“折叠”就越多（例如，对于非常小的数据集，你必须做一次性交叉验证）

使用交叉验证，你可以得到整体预测数据集。然后，您可以将这些预测与实际产出进行比较，并测量模型的表现。

交叉验证的结果在更复杂的比较中可能需要一点理解，但对于您的通用问题“如何评估模型的有效性”，结果应该很容易使用。