多处理管道（）不工作

Question

我想熟悉multiprocessing模块。我目前在Pipe()有一些问题。我设计了一个小例子来说明我的问题。

我写了两个功能：

• 检测这些文件并将它们复制到另一个文件夹（cleaner）

之一，在一个特定的文件夹（spawner）

创建文件和另一他们都很好。我还设法创建了Process，以便同时创建和复制文件。

对于下一步，我希望spawner与cleaner通信，它已完成创建文件以便后者可以终止。

下面是代码：

import os 
from time import sleep 
import multiprocessing as mp 
from shutil import copy2 


def spawner(f_folder, pipeEnd): 
    template = 'my_file{}.txt' 
    for i in range(10): 
     new_file = os.path.join(f_folder, template.format(str(i))) 
     with open(new_file, 'w'): 
      pass 
     sleep(1) 
    pipeEnd.send(True) 
    return 


def cleaner(f_folder, t_folder, pipeEnd): 
    state = set() 
    while not pipeEnd.recv(): 
     new_files = set(os.listdir(f_folder)).difference(state) 
     state = set(os.listdir(f_folder)) 
     for file in new_files: 
      copy2(os.path.join(f_folder, file), t_folder) 
     sleep(3) 
    return 

if __name__ == '__main__': 
    receiver, sender = mp.Pipe() 
    from_folder = r'C:\Users\evkouni\Desktop\TEMP\PythonTests\subProcess\from' 
    to_folder = r'C:\Users\evkouni\Desktop\TEMP\PythonTests\subProcess\to' 
    p = mp.Process(target=spawner, args=(from_folder, sender)) 
    q = mp.Process(target=cleaner, args=(from_folder, to_folder, receiver)) 
    p.start() 
    q.start() 

我似乎没有能够得到它的工作..任何帮助，将不胜感激。

Answer 1

A Pipe是您的问题的错误解决方案。如果你想从spawner传递文件名到清理器，你可以使用管道，但是你要做的是提高一个标志。为此，我建议使用一个Event：https://docs.python.org/2/library/multiprocessing.html#multiprocessing.Event

这可以被认为是一个线程安全（和多进程安全）布尔值。你会用它像

finished = mp.Event() 
... 
finished.set() # pipeEnd.send(True) 
... 
while not finished.is_set(): # while not receiver.recv():