结合dataframes蟒蛇多进程调用函数

Question

from multiprocessing import Pool 

with Pool(processes=6) as p: 
    p.starmap(update_tabl, zip(r)) 

回来，我在这里使用的方法概述：http://n-s-f.github.io/2016/12/23/starmap-pattern.html并行化功能update_table返回一个数据帧作为输出的呼叫。

如何连接所有这些数据框？如果我用一个for循环，但我可以用pd.concat不知道该怎么做并行

Answer 1

你可以做CONCAT上的星图的结果：

with Pool(processes=6) as p: 
    res = pd.concat(p.starmap(update_table, zip(rows))) 
# do stuff with res 

的CONCAT不会发生并行，但一旦星图完成。