multiprocess

    2热度

    2回答

    我有大量数据文件需要通过函数A进行处理。假设有1000个文件,每个文件的每个进程只需不到15分钟,6GB记忆。我的电脑有32GB和8个CPU,所以我最多可以使用4个进程(24GB内存和4个CPU)来保证安全。所以我的问题是,我可以在python中使用多进程包来创建4个进程,每个进程不断获得函数A来独立处理数据文件,如下图所示。很显然,每个CPU必须处理约。 250个文件,但1000个文件的文件大小

    0热度

    1回答

    在我的应用程序中,我想启动另一个进程,其中有3个事件。我如何触发/触发事件,或者只是调用另一个进程中的函数? 我也想传递一些对象到另一个进程(即我的表单的文本框的处理程序)。 This example looks perfect,但我可以做到没有TCP?即:对管道等。 纠正我,如果我错了,但eventwaithandle不是我的解决方案,因为每个 (3)事件将需要在自己的线程上阻止。 谢谢你在前进

    0热度

    2回答

    我目前正在尝试从多个进程登录到单个文件,但我遇到了很多麻烦。我花了无数小时在网上查找 - stackoverflow和谷歌,但没有提出具体的。 我已阅读:How should I log while using multiprocessing in Python? 我一直在尝试使用zzzeek的代码,但它并没有写为我的文件。我没有具体的做法 - 我一直在尽我所能。 有没有人有它的工作,并有示例代码

    1热度

    1回答

    我有这个脚本,它有它的工作,它有2个独立的进程产生监听线程杀死进程时,通过管道发送到监听器。 from multiprocessing import Process, Pipe from threading import Thread import time subAlive = True testAlive = True def sub_li

    6热度

    2回答

    运行的进程,下面的代码似乎并没有同时运行,而且我不知道确切原因: def run_normalizers(config, debug, num_threads, name=None): def _run(): print('Started process for normalizer') sqla_engine = init_sqla_from_config(c

    0热度

    2回答

    我有这个多进程剧本我仿照它一前一后的问题,我发现这里 http://broadcast.oreilly.com/2009/04/pymotw-multiprocessing-part-2.html class test_imports:#Test classes remove def import_1(self, control_queue, thread_number):

    1热度

    3回答

    下面是一个例子。我有一个生产者和几个消费者。 #!/usr/bin/env python2 from multiprocessing import Process, Queue import time def counter(low, high): current = low while current <= high: yield current

    0热度

    1回答

    我正在做一个小型管道来咀嚼大量的数据,并且我决定使用python来调用使用多个内核的程序。 因此,这里是我的问题: 1)程序输出一个非常大的文本文件。我只希望将输出保存到一个新文件中(所以不要将字符串保存为python对象),使用子进程模块执行此操作的最佳方法是什么? 2)我希望多次使用多进程模块并行调用程序。我通常只是简单的使用Pool.map函数,这会干扰子进程模块吗? 在此先感谢!

    0热度

    2回答

    我与我的halt_listener线程有问题。我可以开始import_1,但它不会产生halt_listener线程。我在已知的良好代码之后对此进行了构造,唯一的区别是在最后一次迭代中,halt_listener得到了一个管道而不是一个队列。 class test_imports:#Test classes remove alive = {'import_1': True, 'impo

    0热度

    1回答

    我在调用SSIS包的字符串数组中有多个命令。 为了利用硬件,我希望一次运行多个软件包,等待一个完成后再添加另一个软件包。通过观察上的其他类似的问题,我觉得像这样的工作: cls $commands = @() $commands += "notepad.exe" $commands += "notepad.exe" $commands += "notepad.exe" $commands