在分布式集群上运行python代码

Question

我需要使用python并行地在5000个文件上运行一些numpy计算。我已经实现了顺序单机版本。并行运行代码的最简单方法是什么（比如使用ec2集群）？我应该编写自己的任务计划程序和工作分配代码吗？

Answer 1

你可以看看pscheduler Python模块。它将允许您排队工作并按顺序运行。并发进程的数量将取决于可用的CPU内核。该程序可以轻松扩展并将作业提交到远程计算机，但这会要求所有远程计算机使用NFS。

我很乐意为您提供进一步的帮助。