配置SnakeBite HDFS客户端以使用高可用性模式

Question

我使用snakebite库从我的airflow dags访问HDFS。

我的HDFS集群已升级到高可用性模式。这意味着当namenode不是活动节点时，配置为仅指向一个名称节点的客户端将失败。

我可以使用什么策略使高可用性模式高度可用？我可以配置snakebite客户端故障转移到另一个节点吗？我可以使用某种负载均衡器将流量引导到正确的名称节点吗？

Answer 1

事实证明，Snakebite没有一个，但有两个解决方案来解决这个问题：AutoConfigClient，它将从hadoop配置中取得配置，HAClient取两个名称节点。

就我而言，我实际上是通过气流使用蛇咬伤。事实证明，气流的HDFSHook足够聪明，可以处理一个连接中提供的两个名称节点，然后使用HAClient。