2015-05-21 38 views
0

如何修改每个节点的hadoop 2.6中的任务数? 我发现我们必须使用yarn.nodemanager.resource.memory-mbyarn.nodemanager.resource.cpu-vcores如何将每个节点的任务数设置为1

我想每个节点只使用1个任务。我应该配置xml文件来做到这一点吗?具体的配置是什么?

或者我们刚刚提到mapreduce.job.maps的值为1?

如果我使用hadoop版本1.2,我只需要修改此参数在mapred站点 mapred.tasktracker.map.tasks.maximum与值1?

+0

我试图让你的问题更具可读性,但如果我毁了某些东西,请再次编辑。 – vefthym

+0

感谢它非常好,我不会说英语,所以我对任何错误appologize .. 有没有我的问题的任何答案吗?@vefthym –

+0

或我想要一个semilar的链接问题的解决可能会帮助我 –

回答

0

在MR1中,mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum属性决定了每个TaskTracker具有多少个映射和减少槽位。

这些属性不再存在于YARN中。相反,YARN使用yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores来控制每个节点上的内存和CPU的数量,这两者都可用于这两个映射并减少。

实质上: YARN没有TaskTracker,但只是通用的NodeManagers。因此,没有更多的Map插槽和Reduce插槽分离。一切都取决于使用的内存量/要求

使用Web UI,你可以得到很多监控/管理这类资讯的:

的NameNode - http://:50070/ 资源管理器 - http://:8088/

+0

我将版本更改为1.2我希望: 'mapred.tasktracker.map.tasks.maximum'解决问题 –

相关问题