distributed

2热度

1回答

我是dask的新手，看起来有些奇怪的用例，我想在带有两个网络接口的“桥接”机器上设置一个dask调度器，以便客户端可以连接到其中一个接口（“前”）和工作人员将住在连接到另一个接口（“后”）的多台机器上。这些接口具有独立的IP地址和主机名。本质上，我想要做this picture棕色和蓝色的作品之间没有路线，除非通过机器上有调度器。（图片来自dask散布的一些旧文档，我认为当事情明显不如现在时0

1热度

1回答

是否可以在特定工作人员列表上运行dask /分布式作业

我有一个包含40名工作人员的计算网络，但我只需要在特定主机上执行计算。是否可以限制或重建仅使用指定工作人员的网络？

3热度

1回答

Tensorflow变量不使用初始化之间-图形复制

我有如下Python代码test.py，它使用“之间-图形复制”分布式Tensorflow： import argparse import logging import tensorflow as tf log = logging.getLogger(__name__) # Job Names PARAMETER_SERVER = "ps" WORKER_SERVER = "wo

6热度

2回答

`MonitoredTrainingSession（）`如何与“恢复”和“测试模式”一起工作？

在Tensorflow中，我们可以使用Between-graph Replication构建和创建多个Tensorflow会话进行分布式培训。 MonitoredTrainingSession()坐标多个Tensorflow会话，并且有checkpoint_dir为MonitoredTrainingSession()的参数来恢复Tensorflow会话/图形。现在我有以下问题：我们通常使用的tf

0热度

1回答

Dask读取CSV，将分区设置为CSV长度

我正在尝试编写代码，将从名为my_file_*.csv的一组CSV中读取到Dask数据框中。然后我想根据CSV的长度设置分区。我试图在每个分区上映射一个函数，为了做到这一点，每个分区必须是整个CSV。我试过重置索引，然后根据每个CSV的长度设置分区，但它看起来像Dask数据帧的索引不是唯一的。根据每个CSV的长度是否有更好的分区方法？

1热度

1回答

C++分布式程序阻塞

我试图做一个分布式程序做一个简单的工作（检查素数），显然程序正在一个阻塞的等待下降，我不知道为什么。它是一个生产者 - 消费者程序并且必须为每个生产者呼叫或消费者呼叫创建一个线程。任何人都可以帮我吗？ Ps：问题是间歇性的。我的代码是波纹管： #include <pthread.h> #include <iostream> #include <atomic> #include <time.

0热度

1回答

单个CPU内核可以使用分布式Tensorflow与多个客户端一起工作吗？

在分布式Tensorflow中，我们可以运行多个在Parameter-Server体系结构中与工作人员一起工作的客户机，这就是所谓的“图间复制”。根据该文件，之间-图形复制。在此方法中，每个/作业：工作任务都有一个单独的客户端，通常与工作任务的进程相同。它说在客户端和工人通常是在同一个进程。但是，如果它们不在同一个过程中，客户数量是否可以不等于工人数量？另外，多个客户可以共享并在同一个CP

1热度

1回答

如何在Play Framework for Java中的分布式集群中实现安全的节点间通信？

我的应用程序基于Java的Play Framework。我只是通过将相同的应用程序部署到多个服务器上并在它们之间分配Web请求来进行分发。每个节点将连接到同一个数据库。 Play Framework已经使用Netty，所以我可以选择使用HTTP请求进行节点之间的通信，但我不确定如何保护这些请求中的一部分，以便其中一些可以从浏览器中调用，即我正在使用该框架的网站仍然可以调用某些路由/ API端点，而

0热度

1回答

如果logdir在HDFS中，分布式Tensorflow 1.0监督卡住

我在centOS 8上为CPU构建TF 1.0二进制文件。如果Supervisor的logdir位于本地磁盘中，我的分布式MNIST数据训练代码可以正常工作。但是，如果我改变监督员LOGDIR到HDFS，代码将停留在主管的初始化： sv = tf.train.Supervisor(is_chief=(FLAGS.task_index == 0), logdir='hdfs://c

0热度

1回答

分布式tensorflow PS服务器自动使用所有的GPU？

我正在学习分布式Tensorflow。 https://www.tensorflow.org/deploy/distributed # Create and start a server for the local task. server = tf.train.Server(cluster, job_name=FLAGS.job_name, task_index=FLA