如何计算失败验收率和错误识别率？

Question

如何计算认证设备的FAR和FRR？ （我假设使用生物识别技术）。否则，他们是否可以轻松访问该主题的统计数据？

Answer 1

FAR和FRR总是按特定人群计算的。这是使用FAR和FRR来衡量绩效的不利之处之一，除非您有一致的人口比较。例如，如果我的人口由我和另外两个人组成，那么我接受错误接受的几率非常低，可能为0％，我的错误拒绝率很低，前提是我能够可靠地捕获可用样本将会很低，可能为0％，如果没有数据库大小的话，这将是非常令人印象深刻的。

为了准确地测试系统，我建议您找出该特定类型的身份验证标准。例如，在指纹匹配中，NIST拥有一个用于测量不同算法的图像数据库。有很多算法都是针对该数据库进行测量的，因此您会将苹果与苹果进行比较。如果你在算法中没有相同的数据库，那么如果有意义的话，你会比较苹果和橙子。

Answer 2

生物识别系统可以在两种模式下工作，在评估过程中必须区分这些模式：验证和识别。

在验证模式下，用户出示他的身份，生物识别设备验证身份是否匹配（想象你去海关，并且用面部图像呈现您的身份证，主管会根据身份证验证您的真实面部和图像） 。

在身份识别模式中，在开始时不会对身份进行假设，并且必须与所有模板进行比较（例如，杀手将他的指纹留在犯罪现场，然后警察用他的指纹识别出他 - 没有假设它们只是使用获得的指纹，并将它们与其数据库中的所有指纹进行比较）。

因此有必要区分这两种情况，因为识别通常要求更高。

假设您正在评估验证生物识别系统的模式。 想象一下，一个生物识别系统，它将所有认证尝试都从区间[0,1]分配给一个分数。 0表示不匹配，1表示完全匹配。显然，如果您将阈值设置为0，则所有真实用户都可以入场，但所有骗子也都可以入场。另一方面，如果您将阈值设置为1，则不允许任何人入场。因此，对于实际使用情况，通常在两者之间设置阈值。这可能会导致并非所有的真实用户都被接纳，并且有些骗子被接纳。如您所见，有两种错误率：FAR（False Accept Rate）和FRR（False Reject Rate）。

FAR计算为冒充者分数超过阈值的一小部分。

FRR计算为真正分数下降到低于您的阈值的一小部分。

例如：我们有一个指纹系统。为了评估任何生物识别系统的性能，我们需要收集一个数据库。假设我们已经完成了这个工作，数据库由10个合法用户（USER_1-USER_10）组成，每个用户提供10次手指（总共10x10 = 100张图片）。让我们假设，单个图像足以创建模板。您选择一个用户（例如USER_1）和一个他的指纹图像并创建模板。他用来验证指纹的其余部分图像可以获得9个真正的分数。您用作冒名顶替者的其他用户的所有图片，您将获得90个冒名顶替者分数。您为所有图像和所有用户重复模板生成，并且总共可以获得900个真实分数和9000个冒名顶替者分数。 这些分数通常用于生成所谓的ROC曲线来选择最佳阈值来检查您的问题。如果您选择了阈值，则可以使用上述定义来计算FAR和FRR。假设我们已经选择了阈值0.7，并且100个冒充者的分数超过了阈值，并且50个真实的分数低于阈值。

到目前为止= 1.1％，FRR = 5.6％。