1

我试图运行以下代码段,它将数据附加到列表'tests1'和'tests2'。但是当我打印'tests1'和'tests2'时,显示的列表是空的。这里有什么不正确的?并行化2 for循环时无法获取值

tests1 = [] 
tests2 = [] 

def func1(): 
    for i in range(25,26): 
     tests1.append(test_loader.get_tests(test_prefix=new_paths[i],tags=params.get('tags', None), 
            exclude=params.get('exclude', False))) 

def func2(): 
    for i in range(26,27): 
     tests2.append(test_loader.get_tests(test_prefix=new_paths[i],tags=params.get('tags', None), 
            exclude=params.get('exclude', False))) 


p1 = mp.Process(target=func1) 
p2 = mp.Process(target=func2) 

p1.start() 
p2.start() 
p1.join() 
p2.join() 

print tests1 
print tests2 

回答

0

工作进程实际上并不共享同一个对象。它被复制(腌制)。

您可以使用multiprocessing.Queue(或通过各种其他方式)在进程之间发送值。看看我的简单例子(为了简单起见,我把你的测试整理成整数)。

from multiprocessing import Process, Queue 

def add_tests1(queue): 
    for i in range(10): 
     queue.put(i) 
    queue.put(None) 

def add_tests2(queue): 
    for i in range(100,110): 
     queue.put(i) 
    queue.put(None) 

def run_tests(queue): 
    while True: 
     test = queue.get() 
     if test is None: 
      break 
     print test 

if __name__ == '__main__': 
    queue1 = Queue() 
    queue2 = Queue() 

    add_1 = Process(target = add_tests1, args = (queue1,)) 
    add_2 = Process(target = add_tests2, args = (queue2,)) 
    run_1 = Process(target = run_tests, args = (queue1,)) 
    run_2 = Process(target = run_tests, args = (queue2,)) 

    add_1.start(); add_2.start(); run_1.start(); run_2.start() 
    add_1.join(); add_2.join(); run_1.join(); run_2.join() 

请注意,父程序也可以访问队列。

+0

像这样工作会抛出此错误:Traceback(最近调用最后一次): 文件“/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/multiprocessing/queues.py”,行268,in _feed send(obj) PicklingError:不能pickle :属性查找__builtin __。instancemethod失败 – Aditya

+0

@Aditya它通过酸洗和取消添加到队列中的对象以在进程之间发送它们。 Pickle不接受功能。可能你可以传回一个完整的对象而不是一个方法,但是不知道'test_loader.get_tests'的更多细节,我无法确定。在我的简单示例中,如果您将整数包装到类中并发回可用的类实例,但是如果您发回实例方法,它将失败并出现类似的错误。 – aes