如何在python中运行并行程序

Question

我有一个python脚本来使用os.subprocess模块​​运行一些外部命令。但其中一个步骤需要很长时间，所以我想单独运行。我需要启动它们，检查它们是否完成，然后执行下一个不平行的命令。 我的代码是这样的：

nproc = 24 
for i in xrange(nproc): 
    #Run program in parallel 

#Combine files generated by the parallel step 
for i in xrange(nproc): 
    handle = open('Niben_%s_structures' % (zfile_name), 'w') 
    for i in xrange(nproc): 
     for zline in open('Niben_%s_file%d_structures' % (zfile_name,i)):handle.write(zline) 
    handle.close() 

#Run next step 
cmd = 'bowtie-build -f Niben_%s_precursors.fa bowtie-index/Niben_%s_precursors' % (zfile_name,zfile_name) 

Answer 1

你可以使用线程来做到这一点。这是很短，（未测试）例如有非常难看的if-else对你实际上是在做线程的东西，但你可以写你自己的工作类..

import threading 

class Worker(threading.Thread): 
    def __init__(self, i): 
     self._i = i 
     super(threading.Thread,self).__init__() 

    def run(self): 
     if self._i == 1: 
      self.result = do_this() 
     elif self._i == 2: 
      self.result = do_that() 

threads = [] 
nproc = 24 
for i in xrange(nproc): 
    #Run program in parallel   
    w = Worker(i) 
    threads.append(w) 
    w.start() 
    w.join() 

# ...now all threads are done 

#Combine files generated by the parallel step 
for i in xrange(nproc): 
    handle = open('Niben_%s_structures' % (zfile_name), 'w') 
    ...etc... 

Answer 2

并行运行的东西，也可以在Python中使用多个进程实现。我曾写过有关这个主题的一篇博客文章中前一阵子，你可以在这里找到

http://multicodecjukebox.blogspot.de/2010/11/parallelizing-multiprocessing-commands.html

基本上，这个想法是用“工作进程”，它独立于队列中检索作业，然后完成这些作业。

在我的经验中工作得很好。

Answer 3

对于您的示例，您只需要并行地执行shell命令 - 您不需要线程。

使用Popen构造的subprocess模块：http://docs.python.org/library/subprocess.htm

收集对你产生了每个进程Popen实例，然后wait()他们完成：

procs = [] 
for i in xrange(nproc): 
    procs.append(subprocess.Popen(ARGS_GO_HERE)) #Run program in parallel 
for p in procs: 
    p.wait() 

你可以用这个脱身（如反对使用multiprocessing或threading模块），因为你并不是真的对这些互操作感兴趣 - 你只是希望os能够并行运行它们，并确保它们在完成时完成你去结合的结果...