Chunked HDF5数据集和slabsize

我们正在评估HDF5关于分块数据集的性能。特别是我们试图找出是否有可能读取不同的连续块，以及这样做会影响性能？例如我们有一个块大小为10的数据集，一个包含100个值的数据集并且想要读取23到48的值。是否会有很大的性能损失？Chunked HDF5数据集和slabsize

非常感谢！

来源

2009-07-24 usac

我不知道如何具体回答你的问题，但我建议你使用1024的块大小（或任何两个更高的功率）。我不知道HDF5的内部结构，但是从我对文件系统的了解以及我们做的粗略的基准测试中，1024是正确的。

来源

2009-07-25 15:17:49

非常感谢您的回答！我已经观察到，块大小本身是一个重要的性能因素。正如你所提到的，大于1000的块是一个很好的起点。我试图弄清楚的是，当从不同块中读取连续数据时，性能如何受到影响。但是，我担心这是一个无法具体回答的问题。所以我们将不得不执行几个基准。 – usac 2009-07-27 08:31:57

Chunked HDF5数据集和slabsize

回答

相关问题