在异构YARN群集中配置NodeManager内存和v核心？

我知道使用下面的属性来设置纱线内存和vcores：在异构YARN群集中配置NodeManager内存和v核心？

yarn.nodemanager.resource.memory-MB

yarn.nodemanager.resource.cpu-vcores

我有具有以下配置中的节点的异质纱簇：

节点1（8cores，16GB RAM）

节点2（8cores，16GB RAM）

节点3（32cores，64GB RAM）

节点4（32cores，64GB RAM）

我想要为节点1，节点2和节点3，节点4设置节点管理器内存和内核。

节点1 &节点2

yarn.nodemanager.resource.memory-MB = 10240

yarn.nodemanager.resource.cpu-vcores = 15

节点3 &节点4

yarn.nodemanager.resource.memory-MB = 40240

yarn.nodemanager.resource.cpu-vcores = 25

如何使用/做到这一点，而无需使用Ambari？

来源

2016-09-09 Rakesh Rakshit

没有Ambari：

您可以直接在各个节点的yarn-site.xml配置上述特性并重新启动YARN服务实现异构资源分配。

随着Ambari：

在Ambari，您可以创建Configuration Groups集群的individual nodes从Manage Configuration Group旁边的链接Group drop down的Configs标签上显示。在创建配置组时，您会找到选择要应用配置的节点的选项。一旦为各个节点创建了配置，就可以通过重新启动YARN服务来应用更改。按照Heterogeneous Configuration了解如何配置。

来源

2016-09-15 18:11:17 Hokam

我知道这一点，但这可以使用Ambari来完成吗？我相信它会将相同的副本应用于所有节点，并且您不能手动更改每个节点配置，因为Ambari会将其同步回来。 –

@RakeshRakshit，我也添加了Ambari配置的详细信息，请遵循。 – Hokam

谢谢，这看起来不错 –

在异构YARN群集中配置NodeManager内存和v核心？

回答

相关问题