如何在Python中使用多处理时节省内存？

Question

我有一个函数，它以图的节点id作为输入并计算图中的某些内容（不改变图形对象），然后将结果保存在文件系统中，我的代码如下所示：

... 
# graph file is being loaded 
g = loadGraph(gfile='data/graph.txt') 
# list of nodeids is being loaded 
nodeids = loadSeeds(sfile='data/seeds.txt') 

import multiprocessing as mp 
# parallel part of the code 
print ("entering the parallel part ..") 
num_workers = mp.cpu_count() # 4 on my machine 
p = mp.Pool(num_workers) 
# _myParallelFunction(nodeid) {calculate something for nodeid in g and save it into a file} 
p.map(_myParallelFunction, nodeids) 
p.close() 
... 

问题是，当我将图加载到Python中时，它需要大量内存（大约2G，它实际上是一个包含数千个节点的大图），但是当它开始进入代码的并行部分（并行部分映射函数执行），似乎每个进程都有一个单独的g副本，我只是在我的机器上耗尽内存（它有6G RAM和3G交换），所以我想看看有没有办法让每个进程g的同一副本，只有内存才能保存它的一个副本？任何建议表示赞赏和感谢提前。

Answer 1

如果将图形分成较小的部分不起作用，您可以使用this或multiprocessing.sharedctypes来查找解决方案，具体取决于图的对象类型。

Answer 2

您的评论表明您一次处理一个节点：

# _myParallelFunction(nodeid) {calculate something for nodeid in g and save it into a file} 

我会创建一个从图形文件会在每次调用时返回单个节点的发电机的功能，以及发电机传递到p.map()函数而不是整个列表nodeids。