distributed-computing

1热度

1回答

我在分为两个部分的作业：第一部分使用火花的seoncd部分计算重CPU密集型ML算法从HBase的检索数据问题是，如果执行者/内核数量很多，HBase集群会受到过分强烈的质疑，这可能会导致生产不稳定。由于执行器/内核太少，ML计算需要很长时间才能执行。由于在启动时设置了执行程序和内核的数量，我想知道是否有办法减少作业的第一部分的执行程序编号。我显然希望避免运行像Hadoop这样的两个单

0热度

1回答

Tensorflow：创建ClusterSpec时是否有一个规则来设置worker/ps的端口？

在分布式设置中创建ClusterSpec时，我们需要将hostname: port分配给workers/ps。是否有选择port的规则？或者它可以自由设置为任何数字？

0热度

1回答

分布式TensorFlow：关于使用tf.train.Supervisor.start_queue_runners

我寻找到的代码distributed inception model in TF，其中我有以下有关使用tf.train.Supervisor.start_queue_runners问题在inception_distributed_train.py：为什么我们需要明确地拨打行 264和行269在inception_distributed_train.py？在API doc. of start_qu

0热度

1回答

Hadoop的不能没有格式

我知道这个问题已经被问过运行名称节点，看到了以下解决方案：  <property> <name>dfs.name.dir</name> <value>/home/hduser/hadoop/data</value> </property> 我修改了HDFS-site.

0热度

2回答

Cassandra用于存储点击日志

我在广告技术领域工作，我们当前的基础架构使用MySQL来存储点击和转换日志。到目前为止，MySQL对我们运行针对点击数据的即席查询非常有用。我们正考虑切换到卡桑德拉，因为我们在高峰时段收到巨大的交通高峰。不仅如此，我们正以非常快的速度增长，并且我们每时每刻都会获得约500-1000次点击（持续时间有时会持续20-30分钟）。我一直都是可用的选项，到目前为止，我的研究让我相信，在写入性能方面没有

0热度

1回答

权重对于apache mesos中的不同角色有什么意义

我想了解mesos中不同角色的权重概念。我为role1赋予了2.0的权重，为role2赋予了5.0的权重，并在mesos集群中启动了spark框架并请求相同数量的资源。我没有看到为这两个角色分配资源的方式发生了任何变化。所以我想知道给权重的重要性，并用权重来展示资源预留的一个例子。

0热度

1回答

任务源如何在不接受任务的情况下访问Hazelcast ExecutorService？

假设我有成员之间使用Hazelcast进行通信的集群，并且我想提供任务执行服务。某些集群成员是任务源（针对服务请求进行了优化），而另一些则是任务接收器（针对长时间运行的计算进行了优化）。我如何配置任务源以访问服务而不允许他们接受和运行任务？类似的问题（例如Can a Hazelcast ExecutorService be created to execute on a subset of th

1热度

2回答

实施p2p消息广播网络的现状是什么？

我知道一个快速的Google可以使用大量的结果，关于这个主题的文献非常丰富，而这正是问题所在。在众多可能的解决方案中，我不确定哪些是特别针对我的特定需求的最佳最新选择。我试图通过互联网实现一个P2P网络，它具有向在线节点广播消息的唯一功能和一个功能。为了连接到网络，您必须能够指向现有的IP。当你这样做时，你会发现一些同伴并与他们保持积极联系。然后您可以将消息发送到其他每个节点。没有直接的沟通，发

0热度

1回答

GdH支持哪些CAP组合？

我感兴趣的GDH的实现（格拉斯哥分布式哈斯克尔）。但是，我找不到CAP定理GdH支持哪些组合。我们可以选择其中的一种或做GDH程序由像二郎神明确的流程？

1热度

1回答

关联故障对集群性能的影响

在集群管理的多个演示文稿中（例如，1,2,3），调度程序的目标之一是通过将单个作业的任务分配到较少的计算节点来减少协调故障可能会一起失败。为什么单个作业中任务的相关故障是不可取的？如果我理解正确，所有任务都需要在作业完成之前完成。所以乍一看，如果任务失败仅限于少量的工作，那么最好只有那些工作由于重新提交失败的任务而经历延迟。我会理解，如果一份工作中的所有任务都是简单地复制相同的工作，但每个工作