如何评估基于内容的推荐系统

Question

我正在构建基于内容的电影推荐系统。很简单，只需让用户输入电影标题，系统就会找到具有最相似功能的电影。

计算出相似度并按降序排列得分后，我找到了5个相似度最高的相应电影并返回给用户。

当我想评估系统的准确性时，一切都运行良好。我在Google上发现的一些公式只是根据评分值评估准确性（比较预测评级和RMSE等实际评级）。我没有将相似性分数更改为评分（从1到5），所以我不能应用任何公式。

您能否提出任何方法将相似性分数转换为预测评分，以便我可以应用RMSE？或者有没有解决这个问题的想法？

Answer 1

你有任何事实吗？例如，您是否有关于用户过去喜欢/看到/购买的电影的信息？它不一定是评级，但为了评估建议，您需要了解有关用户偏好的一些信息。

如果这样做，那么除了RMSE之外，还有其他方法可以测量精度。当我们预测评级时使用RMSE（正如您所说的是真实评级与预测之间的误差），但在您的情况下，您正在生成最佳N个建议。在这种情况下，您可以使用精确度和召回率来评估您的建议。它们非常适用于信息检索应用程序（请参阅Wikipedia），它们在推荐系统中也很常见。您还可以计算F1度量，这是精度和召回的调和平均值。你会看到他们是非常简单的公式，很容易实现。

Guy Shani撰写的“评估推荐系统”是一篇关于如何评估推荐系统的非常好的论文，并且能够让你深入了解这一切。您可以找到纸张here。