hpc

3热度

1回答

我正在使用图形分区API Metis。我有一个来自节点的完整网格，并且想要划分这个网格。在这个分区之后，一个cfd-solver将在多个gpu上并行运行。问题是：我需要metis的块输出（每个维度的节点数相同）。我知道，metis在后台使用了Graph。尽管如此，还是有可能获得块作为输出？

1热度

1回答

每个主机只放一个我的工作，但可以与他人共享

要减轻lockfile problem，直到我找到一个合适的解决方案，我想指示LSF最多为我的每个主机提供一个作业。 -x flag确保我的工作有独家使用的主机，但我不需要这个;我很好与他人分享。我只是不想与我分享。如何确保我的作业中至多有一个作业在特定主机上运行，而不要求独占使用整个主机？

0热度

1回答

通信和互连会对多节点上的计算绑定应用程序产生任何影响吗？

我有一个计算绑定应用程序。我已经在多节点（4节点，8节点）上执行它了我想知道节点之间的通信是否会对运行时间产生影响？如果是这样，怎么可能？因为据我发现，计算绑定应用程序只依赖于系统的计算能力。另外，我可以将CPU系统的CPU数量视为计算能力吗？任何帮助，将不胜感激。更新：为了查看是否该应用程序是内存限制的或计算结合的，我已经运行使用不同数量的核的超过1层的节点中的应用。对于该应用程序（NP

0热度

1回答

如何在HPC群集上使用python上的所有已分配节点

我有安装了SLURM的HPC群集。我可以为自己正确分配节点和内核。我希望能够使用所有分配的内核，而不管它们在哪个节点。正如我在此线程中看到的，Using the multiprocessing module for cluster computing这不能通过multiprocessing来实现。我的剧本是这样的（简单化版本）： def func(input_data): #lots

0热度

2回答

如何将PBSPRO作业存储在数组中并检查作业是否完成？

我试图生成一个系统，允许我检查多个作业是否已完成在群集上运行。此bash的代码应工作要等到所有的PBS的工作已经完成： #create the array ALLMYJOBS=() # loop through scripts, submit them and store the job IDs in the array for i in 1 2 3 4 5 do ALLMYJO

0热度

1回答

`R snow`中的`stopCluster`冻结

我在集群计算机上运行蒙特卡罗模拟，其中snow和R。一切顺利，直到R打到stopCluster的行，其中R冻结，最后超过了挂墙时间。我没有看到stopCluster的问题。以下是简化版本我的R脚本。 simu <- function(rep_worker, n_used) { theta_simu <- c() for (i in 1 : rep_worker) {

1热度

2回答

HPC工作的研究和硬件利用率报告

我在努力寻找有关的一般HPC集群的平均硬件利用率的全面报告。 Google或Facebook提供了各种数据集，以了解他们的云硬件利用情况，但是有没有类似的报告/数据集供我从HPC中心引用或查看。我的重点是看他们是否通过粗粮资源管理器一样SLURM，或扭矩运行尾如何动态的，长期的工作会受到影响。我知道这两个资源管理器都支持细粒度执行，但它们不提供像Mesos或Yarn这样的资源管理器的全面API。

1热度

1回答

如果我有比线程多的线程，我该如何强制MPI不能在所有内核上运行？

上下文：我正在调试一个仿真代码，该代码要求在重新启动文件中继续进行仿真时，MPI线程的数量不会更改。此代码在大型集群上运行，但我正在一个较小的本地计算机上进行调试，以便我不必等待将作业提交到队列。该代码需要72个线程，这比本地机器上的核心数量多。这本身并不是一个问题 - 我可以使用比内核更多的线程运行，并且只需要提高性能，这在调试时不是主要问题。问题：我想为其他任务和其他用户保留一些免费的内核。

0热度

1回答

在Hadoop群集中运行火花时，无法通过纱线获得更快的结果

在Spark 1.4（https://github.com/soundcloud/cosine-lsh-join-spark/tree/master/src/main/scala/com/soundcloud/lsh）中应用LSH算法时，我使用LIBSVM格式（https://www.csie.ntu.edu.tw/~cjlin/libsvm/）处理文本文件（4GB）以查找重复项。首先，我只使用一

0热度

2回答

更好地分散积累的netcdf时间步与CDO

我有一个netcdf文件，在网格上有大约100个时间步，其中一个变量在时间步上累积。我现在感兴趣的是计算每个时间步长对变量值的贡献（即连续时间步长的差异）。目前我使用下列顺序：要提取的每一个时间步长到一个新的文件，我用cdo seltimestep,$i ...，计算每个差到一个新的文件，cdo sub $i ${i-1} ... 和合并这些新文件最后用cdo mergetime ...合并