python-multiprocessing

0热度

1回答

我有一个Class，它在状态中存储一个大型的数组numpy。这导致multiprocessing.Pool变得非常缓慢。这里有一个MRE： from multiprocessing import Pool import numpy import time from tqdm import tqdm class MP(object): def __init__(self, mat

2热度

1回答

Python 2进程IPC

我有两个独立存在的进程。现在我想在“尽力而为”的基础上将消息从一个消息传递给另一个消息 - 如果接收消息的进程不在那里，那没关系，但如果是，那么它应该接收信息。该消息是一个Python字典。它看起来对我来说，多处理模块应该做我想做的，但所有的例子我能找到之一：涉及过程 - 一个用于`multiprocessing.managers.BaseManager”衍生对象和两个客户端。参与启动另一个

1热度

1回答

使用多处理时重定向stderr.Pool

我想使用multiprocessing.Pool（python 2.7.13）产生多个进程，并将每个进程的stdout/stderr重定向到一个文件。问题是它适用于stdout，但不适用于stderr。这是一个单一过程的例子。 import sys import multiprocessing as mp def foo(): sys.stdout = open('a.out',

2热度

2回答

我可以告诉Python的多处理池不要太遥遥领先吗？

我有一些Python代码，它使用multiprocessing.pool.Pool.imap_unordered在CPU绑定中并行创建一堆临时文件。然后，我从结果迭代器中读取文件名，在第二个磁盘绑定步骤中处理每个文件，然后删除它们。通常磁盘绑定步骤是两者中较快的，因此每个临时文件在创建下一个临时文件之前都会被处理和删除。但是，在网络文件系统上运行时，磁盘绑定步骤可能会变为慢速步骤，在这种情况下，并

0热度

1回答

multiprocessing.Pool执行从mysqldump到管道数据的并行子进程

我正在使用Python将数据从一个mysql数据库传送到另一个。下面是我一直在使用数月之久，其代码轻轻抽象的版本，这得不错： def copy_table(mytable): raw_mysqldump = "mysqldump -h source_host -u source_user --password='secret' --lock-tables=FALSE myschema m

0热度

1回答

开始第二个进程时Python多处理错误

今天我开始进行多处理，当然有一些问题。创建两个过程： import multiprocessing as mp # twitter parser twitterProc = mp.Process (target=TwitterProcess) twitterProc.start() # rss parser RssProc = mp.Process (target=RssProce

1热度

1回答

在pygmo中使用队列进行功能评估

长时间潜伏者，第一次海报。请让我知道如何改善我的帖子！我试图通过使用安装Anaconda3优化pygmo 2.5图书馆现有的一些代码，它们通过做弹道优化（这是POST2如果有人有兴趣）可执行包装异步和参数向量的分布评价。为了促进这一点，我使用多处理.SyncManager和multiprocessing.Queues通过网络传递输入并接收输出和日志消息。因此，在这种情况下，pygmo将选择向量来

5热度

1回答

可以安全地从Python中的线程调用多处理？

根据 https://github.com/joblib/joblib/issues/180和Is there a safe way to create a subprocess from a thread in python? Python多处理模块不允许在线程内使用。这是真的？我的理解是，它很好地从线程中分叉，只要你没有持有线程。当你这样做时（在当前线程中？在进程中的任何地方？）。然而，Py

0热度

1回答

过程不会与芹菜中的多处理模块产生

我有一个非常标准的设置：Django + Rabbitmq +芹菜。我想在芹菜中产生一个使用标准python多处理模块的进程。我注意到，过程本身并没有产卵。什么可能是没有产生这个过程的原因。这里是代码： import multiprocessing as mp from celery.schedules import crontab from celery.decorators impor

3热度

1回答

如何在Python中并行化Ising模型（多处理程序包）？

我有一个Python脚本，可以对一个2D晶格的Ising模型进行Monte Carlo模拟。 MC模拟是令人尴尬的平行，每个温度的采样可以分配到不同的线程。我想为此使用多处理模块，但是对于此包来说是新的。我怎样才能做到这一点？ from __future__ import division import numpy as np from numpy.random import rand im