与不同参数并行运行一个函数 - python

Question

我有一个函数slow_function需要大约200秒来处理一个job_title，它读写一个全局变量。

使用此代码的性能没有提高。我是否错过了一些东西，但是这会返回相同的结果。

代码并行运行五个的工作类别：

from threading import Thread 
    threads = [] 

    start = time.time() 
    for job_title in self.job_titles: 
     t = Thread(target=self.slow_function, args=(job_title,)) 
     threads.append(t) 
    # Start all threads 
    for x in threads: 
     x.start() 

    # Wait for all of them to finish 
    for x in threads: 
     x.join() 
    end = time.time() 
    print "New time taken for all jobs:", end - start 

Answer 1

您应该从class方法中提取slow_function，因为在进程之间共享本地上下文是不可能的。之后，你可以使用此代码：

from multiprocessing import Pool 

start = time.time() 

pool = Pool() 

results = pool.map(slow_function, self.job_titles) 

for r in results: 
    # update your `global` variables here 

end = time.time() 
print "New time taken for all jobs:", end - start 

Answer 2

您需要使用多（https://docs.python.org/2/library/multiprocessing.html）模块，因为线程模块由GIL（https://docs.python.org/2/glossary.html#term-global-interpreter-lock）的限制。

但是你不能使用全局变量在生成的进程之间交换数据！ ...参见https://docs.python.org/2/library/multiprocessing.html#exchanging-objects-between-processes