多处理：在导入的函数中使用池

Question

我想创建一个脚本，它从一个单独的模块调用一个函数来执行并​​行处理。

我的“顶级”脚本是这样的：

from hydrology import model, descriptors 
if __name__ == "__main__": 
    datafile = r"C:\folder\datafile.shp" 
    myModel = model.Model(data = datafile) 

    res = descriptors.watershed_pll(myModel) 

的descriptors模块如下所示：

from multiprocessing import Pool 
from arcfunc import multi_watershed 

def watershed_pll(model): 
    pool = Pool() 
    for key, val in model.stations.iteritems(): 
     res = pool.apply_async(multi_watershed(val, key)) 
    pool.close() 
    pool.join() 
    return res 

正如你所看到的，并行运行的功能从进口模块arcfunc, 执行并行化的功能位于模块descriptors内部，并且运行所有内容的脚本再次分离。

有没有例外，当我跑，但我有两个问题：

1. res.successful（）返回false
2. 它运行快没有比没有多处理。

我怀疑我的架构是复杂的事情，但是，重要的是并行化功能是在一个单独的模块。

有什么建议吗？

Answer 1

代码将函数和参数传递给apply_async，代码直接（在主进程中）调用multi_watershed，并传递该函数的返回值。

传递函数和参数。

替换以下行：

res = pool.apply_async(multi_watershed(val, key)) 

有：

res = pool.apply_async(multi_watershed, (val, key))