parallel-python

0热度

1回答

获取“ImportError：No module named”与包中的并行python和方法

我试图使用并行python为了做一些分布式基准测试（本质上，协调和运行一些机器上的代码从一个中央服务器）。我的代码工作得很好，直到我将功能移到一个单独的包中。从那时起，我一直在收到ImportError: No module named some.module.pp_test。我的问题实际上是双重的：有没有人遇到这个问题pp，如果是的话，如何解决它？我尝试使用dill（import dill），

0热度

1回答

在并行进程之间共享信号量对象python

当我使用并行python传递任何信号量对象或同步对象（如事件，管道，队列等等）到子进程时遇到问题当我通过并行python时出现跟随错误一个队列到子进程。 “通过继承”％类型（个体经营）.__ name__ RuntimeError：队列对象只能进程之间通过继承共享当我用一个多进程库 import pp import time from multiprocessing import Even

0热度

1回答

如何告诉parallel-python进程在哪个文件夹中搜索模块？

我正在使用安装在常用文件夹（/ usr/lib64/....）中的NumPy 1.4.1的计算机群集。因为我想要使用NumPy 1.7.0，我已经安装了它/.../myPath，并将export PYTHONPATH=/.../myPath添加到我的.bashrc，使得使用import numpy将自动加载NumPy 1.7.0。这工作正常，除了使用parallel python时的特殊性。加载在

0热度

1回答

如何在pp中的某个函数中调用该函数中的某个模块，其中的函数具有其他函数？

我目前使用的是并行python，并且在job_server.submit的参数中，我在模块中添加了库，但问题是即使该库中还有其他库.so我应该怎么做？这里是我试图运行代码： from tools.demo import detect_cn import pp job_server = pp.Server() f1 = job_server.submit(detec

2热度

1回答

使用并行python来并行化网络中的节点上的循环x

我在网络x中做了一些复杂的计算。计算涉及为网络中的每个节点反复计算一些数量。正如这样一个计算的例子，假设我们想要计算网络中每个节点的平均邻近度并将该值保存为节点属性。下面的代码片段对我的作品： import networkx as nx G = nx.erdos_renyi_graph(10, 0.5) def ave_nbr_deg(node): value = 0.

1热度

2回答

如何动态调整StarCluster/qsub/EC2以跨多个节点运行并行作业

我是使用Startcluster/qsub/grid引擎运行并行作业的新手，我尝试阅读其他相关文章。我仍然不确定如何为我的特定需求构建可扩展的解决方案。在继续进行这项工作之前，我想先提出一些建议。这里是我的要求：我有一个巨大的tar文件[〜40 - 50 GB，它可以达到100GB] ----->没有太多我可以做这里。我接受一个巨大的单个tar文件作为输入。我要解压缩它 ----->我运行t

0热度

1回答

并行的Python：限制在每个核心

我的下一个代码工作procceses的数量（这仅仅是一个完整的代码的一部分）并行蟒蛇在一台计算机与两个核心 import pp from scheduling import * from numpy import * def sched_pp_process(B,T,D,BL,blocks,number_block,number_core): ppservers =()

0热度

2回答

加速PostgreSQL的添加使用Django Python脚本

从文本文件中的数据，我用的服务器是谁的配置作为工作： RAM - 56GB 处理器 - 2.6 GHz的×16个内核如何使用shell做并行处理？如何利用处理器的所有核心？我必须从包含数百万条目的文本文件加载数据，例如一个文件包含50万行数据。我正在使用Django的python脚本来加载postgresql数据库中的数据。但是，在数据库中添加数据需要很长时间，即使我有这样一个好的配置。服

0热度

1回答

将函数参数间隔分解为单独部分时出错。并行Python

首先，对所有代码抱歉。我很难制定一个具体的问题。我已经修好了一段时间，只是无法让它工作。该错误消息不是很有帮助。我将不胜感激一点帮助。为了加速计算，我想对函数'EMatCreatorrx（umin，umax，vmin，vmax，stepsize，pstep，alphamax，A，rot）：'的三个实例并行执行不同的参数范围。 umin，umax和vmin，vmax分别定义了要在u和v方向分别计算

0热度

1回答

使用并行python和类

我很惊讶地了解到，在互联网上找到关于并行python（PP）和处理类的小教程和指南。我遇到了一个问题，我想要启动几个同一类的实例，然后再检索一些变量（例如并行读取5个数据文件，然后再检索它们的数据）。以下是一段简单的代码来说明我的问题： import pp class TestClass: def __init__(self, i): self.i = i d