如何增加Hadoop的柜台数量

hadoop

2013-06-26 46 views 0 likes

正如众所周知，，Hadoop的柜量为120我想增加多少，我想加入配置流动：如何增加Hadoop的柜台数量

mapreduce.job.counters.limit=1000 
mapreduce.job.counters.max=1000 
mapreduce.job.counters.groups.max=500 
mapreduce.job.counters.group.name.max=1000 
mapreduce.job.counters.counter.name.max=500

但是，它没没有道理。所以，你们知道如何增加柜台数量。提前致谢！

来源

2013-06-26 Jack

你究竟想做什么？ – Tariq

你知道hadoop计数器的最大值是120，我需要使用200多个计数器来测试性能，所以默认值是不够的！谢谢！ – Jack

回答

您需要在所有JobTracker，TaskTracker和您的客户端中更新您的配置，然后重新启动它们。例如，mapreduce.job.counters.limit仅在启动时才加载到Limits.COUNTERS_MAX。

来源

2013-06-27 01:48:49 zsxwing

虽然你的问题的实际部分已回答了，我想带几件事情给您的通知：

1计数器是非常昂贵的，因为JobTracker的具有维持的每一个柜台每个地图/减少任务在整个应用程序的任务。所以明智地使用它们。

2-由于计数器存储在JobTracker中，所以您的JobTracker将有一个公平的机会这样的高计数器值。而这是保持计数器数量的原因，可以是每个作业创建的，受Hadoop限制。

来源

2013-06-27 02:11:35 Tariq

如何增加Hadoop的柜台数量

回答

相关问题