我正在使用R对两种不同的预测模型进行一些评估。评估的基本思想是使用cor。（）的函数来比较Pearson相关和它对应的p值。下图显示了相关系数及其p值的最终结果。通过p值和皮尔逊相关性评估预测
我们建议，即，其具有较低的相关性系数和相应的较低p值模型（以下0,05）是更好的（或者，较高的相关系数但具有相当高的相应的p值）。 因此，在这种情况下，总的来说，我们会说模型1比模型2好。 但这里的问题是，有没有其他具体的统计方法来量化比较？
非常感谢！
假设您在调出“预测”后正在处理时间序列数据。我认为你真正想要的是回溯你的预测模型。从Ruey S. Tsay的“用R分析财务数据的介绍”中，您可能想看看他的backtest.R函数。
backtest(m1,rt,orig,h,xre=NULL,fixed=NULL,inc.mean=TRUE)
# m1: is a time-series model object
# orig: is the starting forecast origin
# rt: the time series
# xre: the independent variables
# h: forecast horizon
# fixed: parameter constriant
# inc.mean: flag for constant term of the model.
回溯测试可以让你看到自己的模型过去的数据表现如何，以及中央执行委员会的backtest.R提供RMSE和平均绝对误差，这将给你的相关性之外的另一个视角。 注意事项取决于您的数据大小和模型的复杂性，这可能是一个非常缓慢的运行测试。
要比较模型，您通常会看RMSE这实际上是您的模型的错误的标准偏差。这两个直接可比较，更小更好。
更好的选择是在构建模型之前设置培训，测试和验证集。如果您在相同的培训/测试数据上训练两个模型，您可以将它们与您的验证集（您的模型从未见过）进行比较，以更准确地衡量模型的性能指标。
最后一种选择是，如果您的“成本”与不准确的预测相关联，则将这些成本应用于您的预测并将其相加。如果一个模型对较昂贵的数据段表现不佳，您可能想避免使用它。
作为一个侧面说明，你对p值的解释越少越好，留下一点点[期望] quite right。
P值只能解决一个问题：假设一个真正的零假设，您的数据可能性如何？它不衡量对替代假设的支持。