python-multiprocessing

    0热度

    1回答

    我正在并行处理多个大规模csv文件。我想有一个每个文件的进度条。 但是,虽然我显示了5个小节,但只有最后一个正在更新 - 看起来像所有进程一次。由于我无法将整个csv文件读入内存,我正在使用文件大小来显示进度。 inputArg是以数字结尾的文件夹路径。 def worker(inputArg): with open(inputArg + '/data.csv') as csvfile

    -1热度

    1回答

    我们已经有一些函数被调用由runInParallel您将在此找到答案使用的并行处理:https://stackoverflow.com/a/7207336/720484 所有这些功能都应该有机会获得他们应该读一个单一的全局变量。 这个全局变量实际上是一个类的实例。这个实例包含一个成员变量/属性,并且所有进程都可以读写它。 但是事情并不是这样发生的。对象(类实例)似乎被复制,并且其属性在每个进程中都

    0热度

    1回答

    我有一个串口日志工具,用于处理COM端口的日志并将它们发送到数据库。我使用pyserial ReaderThread与协议工厂一起使用。 class SerialLogging(Process): def __init__(self, cpath, q): Process.__init__(self) self.__queue = q config =

    6热度

    1回答

    我在尝试实施新的defaultdict代理对象时遇到了一些麻烦。 documentation有点恐慌,所以我不知道如何正确地做这件事。 我想将defaultdict添加到Manager实例可用的类型列表中。您不能使用的股票multiprocessing.Manager的Manager.register方法,所以我做了我自己的存根经理从multiprocessing.mangers.BaseMana

    0热度

    1回答

    我有一个FLASK APP并使用gunicorn(同步模式)作为Web服务器。为了异步推送信息,当gunicorn启动时,我使用“gunicorn服务器钩子”来启动维护进程(multiprocessing.Process()),并使用multiprocessing.Queue()(它实际上是logging.handlers.QueueHandler(Queue)与python日志记录)发送消息。

    2热度

    1回答

    我有primary.py: from tkinter import * from tkinter.filedialog import askopenfilename from tkinter import ttk import multiprocessing as mp import other_script class GUI: def __init__(self, mas

    0热度

    3回答

    我想用python3并行运行一个进程。我拥有的代码在另一个之后运行。任何想法如何使其平行? from multiprocessing import Process def work(x, outfile): for i in range(0,200000): print(x, i,'hello world', outfile) if __name__ == '__ma

    0热度

    2回答

    你好我想多处理一个for循环,我计算4个不同的独立函数。唯一的问题是这些函数需要多个参数。其中一些参数是使用循环索引选择正确元素的列表。这里是一个示例代码 import numpy as np def function_1(a,b,c,d): #do heavy calculations #function is written in fortran and linked

    1热度

    1回答

    我想设置一些接受输入并处理它的进程,这个结果的结果是我想要处理的另一个任务。实质上,每个任务都会导致零个或多个新任务(相同类型),最终所有任务都不会产生新任务。 我认为一个队列对此很有用,所以我有一个输入队列和一个结果队列来添加任何新的任务。任何时候,队列可能都是空的,但如果另一个进程正在处理某个任务,则可能会添加更多队列。 因此,我只希望它结束​​时,所有进程都同时尝试从输入队列中获取。 我对P

    0热度

    2回答

    早些时候,我尝试在python中使用线程模块来创建多个线程。然后我了解了GIL以及它如何不允许在一台机器上利用多个CPU内核。所以现在我试图做多处理(我不严格需要单独的线程)。 这是我写的示例代码,以查看是否正在创建不同的进程。但是从下面的输出中可以看出,我每次都得到相同的进程ID。所以多个进程没有被创建。我错过了什么? import multiprocessing as mp import o