2017-07-03 48 views
0

IAM使用Hadoop的Apache 2.7.1与HA集群HA集群一个活动名称节点低性能

当我关闭活跃名节点的待机名节点变得活跃 ,这是正常的情况下

但问题是一个积极的NameNode集群的性能下降(操作变得更慢)

,我不认为公顷Hadoop集群的性能将会受到影响,当一个名字节点是活跃,只有

我意识到,当前活跃的NameNode日志显示的尝试连接到以前的主动关机名节点操作

Retrying connect to server: mn2/192.168.25.22:8485. Already tried 0 time(s); maxRetries=5 

我试图减少在核心部位以下属性

<property> 
       <name>ipc.client.connect.max.retries.on.timeouts</name> 
       <value>5</value> 
     </property> 
     <property> 
       <name>ipc.client.connect.timeout</name> 
       <value>1000</value> 
     </property> 

,但他们有没有效果我应该编辑什么属性,以便让当前活动名称节点放弃连接到关机名称节点

因为当我启动以前的名称节点而没有服务启动时 当前活动名称节点停止尝试连接到以前的活动名称节点 和集群的性能再次增加,因为有两名节点 即使我们有一个活动名称节点只

回答

0

您还没有提到你发布您正在使用哪种工具以获得高可用性。看来你正在两个名称节点之间使用编辑共享方法来实现高可用性,并且出现了“裂脑综合征”问题。

您可以尝试一些其他工具,如Apache Zookeeper(或您选择的任何其他工具)来实现高可用性吗?

请注意 - 如果您使用上述工具,则您的法定人数应以大多数人为准。这意味着活动名称节点的数量应该不一致(3,5,7等)。

+0

iam使用apache动物园管理员和Quorum Journal Manager的奇数编号5 –

+0

@oula - 请您在server.id = host:port:port上分享动物园管理员的配置详情。另外你可以参考这里提到的配置细节 - https://www.packtpub.com/books/content/setting-namenode-ha –

+0

zookeeper运行良好,这里是zoo.conf配置server.1 = mn1:2888:3888 server.2 = MN2:2889:3889 server.3 = JN1:2890:3890 server.4 = JN2:2890:3890 server.5 = JN3:2890:3890 –