蜂巢用Hadoop高可用性

Question

我想了解蜂巢如何知道哪些Hadoop的NameNode的是处于活动状态，当有效的NameNode故障会出现什么

Answer 1

蜂巢通过metatool配置为指向配置dfs.nameservices为HA HDFS 。见https://cwiki.apache.org/confluence/display/Hive/Hive+MetaTool。 dfs.nameservices是一个逻辑地址，而实际的名称节点配置为dfs.ha.namenodes.[id]。

至于哪个Namenode处于活动状态，状态存储在Zookeeper中。当活动名称节点失败时，将在配置的时间（默认5秒，ha.zookeeper.session-timeout.ms）之后触发故障转移。防护脚本是必需的，并触发备用名称节点变为活动状态。

Answer 2

在hdfs HA环境名称节点url应该是一个逻辑名称（例如hdfs：// logicalnamenode）。我们需要配置配置单元以与HA协同工作。为此，您需要使用metatool命令更改配置单元名称节点配置。

1. 列出当前NN配置
   〜＃元工具-listFSRoot
   HDFS：// namenode的：8020 /用户/蜂巢/仓库
2. 以下命令将更新逻辑名老NN配置
   元工具-updateLocation HDFS：// logicalnamenode HDFS：// namenode的：8020 -tablePropKey avro.schema.url