lsf

1热度

2回答

我用下面的命令提交我的工作： bsub -e error.log -o output.log ./myScript.sh 我有一个问题：为什么输出和错误日志仅一次的工作结束了？谢谢

0热度

2回答

我正在运行LSF作业数组以在生成文件中创建目标。但是，只要提交数组，就会考虑执行目标的命令，并且由于目标不存在而引发错误。如何强制make在等待完成LSF作业数组之前移动到其他相关目标上？例子： all: final.txt first_%.txt: bsub -J" "jarray[1-100]" < script.sh final.txt: first_%.txt

1热度

1回答

硬编码的root cgroups

我有几台RHEL7机器是GPFS集群的一部分，当内存耗尽时，GPFS守护进程和驱动程序崩溃导致它们管理的文件系统崩溃。我想限制3个cgroup内存层次结构：user.slice，kubepods.slice和lsf（用于LSF作业队列）。我想对这三组的总内存消耗设置100G的限制。为此，我将不得不创建一个新的root cgroup并将它们放在这个组中，或者选择其中的一个作为根。问题在于user.

3热度

1回答

有没有办法减少linux作业中的I/O等待时间？

我正在运行多个并行文件处理过程（最少200个进程），其中每个进程正在读取不同大小（0-50mb）的日志以捕获日志的实时数据。我正在16个内核上运行我的作业， 8 GB的内存Linux机器。但是在cpu和文件经过时间过程之间存在巨大的延迟。你能解释一下为什么会有这样的滞后黑白CPU和经过一段时间的例子吗？还有什么方法可以减少这些过程的等待时间。

1热度

1回答

对于多个插槽的LSF不同资源请求

是否可以使用LSF提交作业，其中初始执行槽有一个rusage值[mem =]，其他值具有不同的rusage值。工作是主从。主人需要大量的记忆，奴隶，而不是那么多。尝试了各种选择规范，例如，选择[1 * rusage [mem = 6000] + 2 * rusage [mem = 1000]]但只获得“无效的资源规范”错误。

1热度

1回答

通过python的subprocess.Popen（）提交一个LSF脚本，而不使用shell = True

预警，问题可能更多地是由于缺少对bsub命令和登录shell的了解而不是python的Popen()。我试图使用subprocess.Popen() pipe = subprocess.Popen(shlex.split("bsub < script.lsf"), stdout=subprocess.PIPE, stderr=subprocess.PIPE) 这似乎是一个

1热度

1回答

给定工作的LSF工作状态

假设我的工作正在运行一段时间，并由于机器超载而进入挂起状态，并在某段时间后运行并完成。现在这个工作获得的状态是运行 - >暂停 - >运行如何获得一个给定工作获得的所有状态？

1热度

1回答

每个主机只放一个我的工作，但可以与他人共享

要减轻lockfile problem，直到我找到一个合适的解决方案，我想指示LSF最多为我的每个主机提供一个作业。 -x flag确保我的工作有独家使用的主机，但我不需要这个;我很好与他人分享。我只是不想与我分享。如何确保我的作业中至多有一个作业在特定主机上运行，而不要求独占使用整个主机？

1热度

1回答

当我向LSF提交以下命令失败时，使用perforce与LSF导致有关密码

的错误。 > bsub -I p4 client -o Job <7966594> is submitted to default queue <normal>. <<Waiting for dispatch ...>> <<Starting on XXX>> Perforce password (P4PASSWD) invalid or unset. 如何设置LSF作业的密码？

1热度

1回答

LSF顺序文件名作业提交

我是一名在集群中提交作业的初学者。我使用R来编码，我的目标是运行一组连续的文件名。为例如说。 main1.R，main2.R等等，直到100左右。所有这些R脚本都是独立的脚本，并且没有输入参数。相反，提交这些作为 bsub - W 24:00 -n 48 "R --vanilla --slave < main1.R" ，并以此类推，直到100个的文件，有没有办法使用工作数组来指定文件名并没有得