如何估算HPC群集上的计算时间

Question

假设我有一个包含27个节点的HPC群集。我想执行100个作业，每个作业需要10000秒的计算时间。如果单个节点连续执行这整个作业，则可以达到100 x 10000秒或11.57天。我的第一个假设是我可以简单地将11.57除以27得到0.43天的集群计算时间。这是一个很好的估计？我觉得它可能会更复杂，我错过了一些东西。也许我只是在过度思考......我只需要尽可能准确的评估。

Answer 1

使用阿姆达尔定律（https://en.m.wikipedia.org/wiki/Amdahl%27s_law），将总时间拆分为必须连续完成的部分和可以并行完成的部分。由你处理节点的数量除以第二部分，加上第一部分，和你有多久它会采取一个很好的估计。

一般情况下，如果你的工作在很大程度上是独立则必须串行完成的只有部分开始工作和收获的结果，如果有的话，必须传回中央处理器。