mmap vs fileinput的优点

Question

我读过mmap比fileinput更有优势，因为它会将页面读入内核pagecache并在用户地址空间中共享页面。而fileinput实际上会将页面带入内核，并将行复制到用户地址空间。所以，fileinput有额外的空间开销。

因此，我打算迁移到mmap，但我想从高级python黑客知道它是否会提高性能？

如果是这样，是否有使用mmap的fileinput的类似实现？

如果您知道的话，请指点我的任何开源代码。

谢谢

Answer 1

MMAP需要一个文件，并把它插在RAM中，这样你可以索引它像一个字节数组或者作为一个大的数据结构。

如果您以“随机访问”方式访问文件，这会执行很多fseek（），fread（），fwrite（）组合。

但是，如果您只是读取文件并处理每一行一次（说），那么它不可能明显更快。实际上，对于任何合理的文件大小（记住使用mmap都必须适合内存 - 或者发生分页开始降低mmap的效率），它可能是无法区分的。