快速值检查？

Question

我有一个50,000,000 + 512位值的列表。

我有一个数据流以每秒1,750,000的值进来，我需要检查每个值是否在上述列表中。

目前我已经选择了通过hiredis在c上使用键上的EXISTS命令。速度非常快，我正在设法检查每秒约160,000个值。

但是，我真的需要做这10 *更快，因为它造成了瓶颈。有任何想法吗？

Answer 1

假设输入流中的大部分值不在列表中，则声音像Bloom Filter这样的声音对于筛选绝对不在列表中的值可能很有用。