2016-12-27 27 views
0

我在Ubuntu 16.04工作站上安装了Torque 6.1.0,但安装 似乎无法识别机器有多少核心和线程。我设置的唯一节点显示状态为“状态=关闭”,任何作业都会触发一个错误,说“节点的正确类型 不够”。实际上,工作站在2个处理器上有56个线程或28个物理内核 ,我只想使用54个线程或27个物理内核 作为共享计算作业。我意识到这可能与从Torque V6.0开始的cgroup或NUMA的配置有关,如果我在安装时做了正确的事情,我不会这样做。我确实启用了cgroup,但不确定是否还需要配置启用NUMA的功能。以下是当前配置的一些输出。我该怎么办?谢谢。工作站上的TORQUE v6.1.0节点状态=关闭

$ pbsnodes 
node1 
state = down 
power_state = Running 
np = 54 
ntype = cluster 
mom_service_port = 15002 
mom_manager_port = 15003 
total_sockets = 0 
total_numa_nodes = 0 
total_cores = 0 
total_threads = 0 
dedicated_sockets = 0 
dedicated_numa_nodes = 0 
dedicated_cores = 0 
dedicated_threads = 0 


$ lssubsys -am 
cpuset /sys/fs/cgroup/cpuset 
cpu,cpuacct /sys/fs/cgroup/cpu,cpuacct 
blkio /sys/fs/cgroup/blkio 
memory /sys/fs/cgroup/memory 
devices /sys/fs/cgroup/devices 
freezer /sys/fs/cgroup/freezer 
net_cls,net_prio /sys/fs/cgroup/net_cls,net_prio 
perf_event /sys/fs/cgroup/perf_event 
hugetlb /sys/fs/cgroup/hugetlb 
pids /sys/fs/cgroup/pids 

还有一个可疑的部分,它似乎服务器无法看到我已经在服务器的配置文件中定义的节点。由此可以看出在/var/spool/torque/server_logs日志文件:

12/27/2016 15:48:33.147;01;PBS_Server.2692;Svr;PBS_Server;LOG_ERROR::get_node_from_str, Node node1 is reporting on node NapaValley, which pbs_server doesn't know about 
12/27/2016 15:49:18.232;01;PBS_Server.2692;Svr;PBS_Server;LOG_ERROR::get_node_from_str, Node node1 is reporting on node NapaValley, which pbs_server doesn't know about 
12/27/2016 15:49:25.491;08;PBS_Server.2696;Job;0.NapaValley;Job deleted at request of [email protected] 
12/27/2016 15:49:27.023;08;PBS_Server.2657;Job;0.NapaValley;on_job_exit valid pjob: 0.NapaValley (substate=59) 
12/27/2016 15:49:32.996;256;PBS_Server.2657;Job;0.NapaValley;dequeuing from batch, state COMPLETE 
12/27/2016 15:49:59.722;256;PBS_Server.2696;Job;1.NapaValley;enqueuing into batch, state 1 hop 1 
12/27/2016 15:49:59.722;08;PBS_Server.2696;Job;perform_commit_work;job_id: 1.NapaValley 
12/27/2016 15:49:59.722;02;PBS_Server.2696;node;close_conn;Closing connection 9 and calling its accompanying function on close 
12/27/2016 15:49:59.795;64;PBS_Server.2692;Req;node_spec;job allocation request exceeds currently available cluster nodes, 1 requested, 0 available 
12/27/2016 15:49:59.796;08;PBS_Server.2692;Job;1.NapaValley;Job Modified at request of [email protected] 
12/27/2016 15:50:03.312;01;PBS_Server.2696;Svr;PBS_Server;LOG_ERROR::get_node_from_str, Node node1 is reporting on node NapaValley, which pbs_server doesn't know about 

在我/etc/hosts,我已经

127.0.0.1 localhost node1 
127.0.0.1 NapaValley 

PS:我曾试图安装CPU及其他模块/var/spool/torque/cgroup目录,但lssubsys -am仍然显示与上述相同的信息。我认为他们应该被装上?

+0

你用hwloc配置了吗? http://docs.adaptivecomputing.com/9-1-0/installGuide/RH6/help.htm#topics/hpcSuiteInstall/manual/installing/installingTorque.htm#hwloc 它需要版本1.9.1+ 并在2.2.3(“安装扭矩服务器)”下: 2.根据您的系统配置,您将需要添加./configure命令选项。 您至少可以添加: --enable-cgroups --with-hwloc-path =/usr/local有关更多信息,请参见1.2.1转矩。 您还需要在计算节点*上安装cgroup-tools ***和hwloc *** *。 – clusterdude

+0

我从源码安装了hwloc 1.11.5。从Ubuntu软件包回购安装了cgroup-tools。当我运行configure时,我使用了'./configure --enable-cgroups --with-hwloc-path =/usr/local',正如您在手册中指出的那样。由于节点正好在我的工作站的服务器上,因此我认为我不需要重新安装hwloc,对吧? –

+0

哦,对不起......我错过了关于节点的服务器日志行。我会在下面发表一个答案。 – clusterdude

回答

1

节点将使用由gethostbyname调用返回的名称向服务器报告。根据您发布的日志行,服务器和节点不同意该名称。您可以通过pbs_mom用-H选项启动它返回一个不同的名称:

http://docs.adaptivecomputing.com/torque/6-0-2/adminGuide/help.htm#topics/torque/commands/pbs_mom.htm#-h

-H主机名设置MOM的主机名,这可以在多宿主网络很有用。”

这相当于在/var/spool/torque/mom_priv/config中设置$mom_host node1

+0

感谢您发布此解决方案。我已经通过使用服务器的名称作为节点的名称并设置了'log_level = 7'来解决了这个问题。我想也许你的解决方案也可以工作,但是我现在厌倦了现在的尝试,因为这个问题花了我一周的时间才找出一个可行的解决方案。无论如何,这可能对其他人有帮助,应该因为你的努力而得到回报! –