如何使用Apache FLUME将数据写入HA Hadoop QJM？

Question

flume如何识别活动的namenode，以便将数据写入HDFS？如果没有高可用性Hadoop，我们将在flume.conf中配置namenode ip，以便将数据轻松导向HDFS。而在我们的案例中，Flume应该识别活动和备用名称节点，从而将数据导向活动节点。

Answer 1

AFAIK这是不可能的直接的方式。 HDFS sink配置只有一个Namenode的空间。不过，我认为你可以配置两个HDFS接收器（和两个通道），每个接收器指向一个Namenode。由于默认Replicating Channel Selector，来源将在两个频道中放置每个事件的副本。因此，每个汇将尝试自行坚持数据;指向备用Namenode的指针不会持续存在，直到活动指针下降并且备用数据库变为活动状态。

HTH！

Answer 2

这对我的作品（Hadoop的2.7.1，1.6.0水槽）： 将Hadoop的* -site.xml配置文件到你的classpath水槽

不知道这其中的作品，我放在核心-site，hdfs-site，yarn-site，mapred-site），但集群名称的设置位于core-site.xml中