如何优先write（）通过mmap更新（或延迟mmap页面缓存刷新）

Question

我正在一个debian-64上运行一个专门的DB守护进程，内存64G，磁盘空间很大。它使用磁盘哈希表（mmaped），并使用正常的write（）调用将实际数据写入文件。当进行大量更新时，mmap的很大一部分会变脏，并且页面缓存会尝试将其刷新到磁盘，从而产生大量随机写入，从而降低对数据文件进行常规（顺序）写入的性能。

如果有可能延迟页面缓存刷新mmaped区域性能会提高（我认为），因为脏页面的几个（或全部）更改将一次写入而不是每次更新一次（最差事实上，它当然会汇总很多变化）。

所以我的问题：是否有可能延迟页面缓存刷新内存映射区域？或者有可能优先考虑正规写作？还是有人有任何其他想法？ madvise和posix_fadvise似乎没有任何区别...

Answer 1

你可以玩在/proc/sys/vm可调。例如，增加dirty_writeback_centisecs中的值可以使pdflush的唤醒次数减少一些，增加dirty_expire_centiseconds，这样数据就可以保持更长的时间，直到它必须写出，并且增加dirty_background_ratio以允许更多的脏页在RAM必须保留之前保留在RAM中做完了。
请参阅here了解所有值的具体内容。

注意，这会影响到你的机器上每过程，但看到你是如何运行一个庞大的数据库服务器，有机会，这是没有问题的，因为你不希望别的在同一台机器上运行无论如何。

当然这会延迟写入，但它仍不能完全解决与write竞争的脏页回写问题（尽管如果有很多更新，它可能会崩溃一些写入）。
但是：您可以使用sync_file_range系统调用，迫使开始写出来的页面在给定范围上的“写”文件描述符（SYNC_FILE_RANGE_WRITE）。因此，虽然脏页面将在稍后的某个未知时间回写（并且具有更大的宽限期），但您可以手动启动对感兴趣的页面的回写。
这不给任何保证，但它应该只是工作。

务必绝对肯定地阅读文档，更好地阅读两遍。如果使用错误，sync_file_range可能很容易损坏或丢失数据。尤其是，如果您追加到文件中，则必须确保元数据保持最新并刷新，否则在“崩溃”情况下，“已成功编写”的数据将“丢失”。

Answer 2

我会尝试mlock。如果你的mlock有关的存储器范围，它可能会防止发生刷新。完成后您可以munlock。