测量精度和召回率

Question

我们正在构建文本搜索解决方案，并希望在每次添加新文档类型时都能测量系统的精确度和召回率。从阅读这里的一些帖子来看，这听起来像是基于机器学习的解决方案。专家可以评论这个吗？然后，我们会考虑将机器学习人员添加到我们的团队。

Answer 1

获得F1-score的唯一方法是需要关于正确类的知识，通过评估查询获得的所有样本的等级，以及您还需要评估查询。

• 任何机器学习都需要大量的手动工作来提供样本和/或查询。这么大，它不会为你节省任何时间。

• 此评估的另一个不好的方面是通过学习相关的内在错误。它将随着搜索引擎索引的不断增长的规模和所需的示例数量而变化。你从来没有得到好的评价。

• 忘记用于评估搜索引擎的机器学习。 手动建立你的测试查询和样本，到时候它会变得大而可靠。

• 如果你真的想在你的系统中进行机器学习，你应该看看查询预处理。通过另一种方式获得关于查询的元信息（你说SVN，为什么不呢？）对性能有好处，虽然它没有改变结果，但可以使用相同的样本进行端到端评估。 这就是我几年前所做的，但是用天真的贝叶分类器进行自然语言分析。