“客户端”对Hadoop/HDFS意味着什么？

Question

我明白它背后的一般概念，但我想要更多的澄清和明确定义什么是“客户”。

例如，如果我只是在终端上写一个hdfs命令，它仍然是一个“客户端”？

Answer 1

Client Hadoop中是指用于与所述的Hadoop文件系统进行通信的接口。 Hadoop可以使用不同类型的客户端来执行不同的任务。

基本文件系统客户端hdfs dfs用于连接到Hadoop文件系统并执行基本的文件相关任务。它使用ClientProtocol与NameNode守护程序进行通信，并直接连接到DataNode以读取/写入块数据。 要在HDFS上执行管理任务，有hdfs dfsadmin。对于HA相关任务，hdfs haadmin。 还有类似的客户可用于执行YARN相关任务。

这些客户端可以使用它们各自的CLI命令从安装了Hadoop的节点进行调用，并且具有连接到Hadoop文件系统所需的必要配置和库。这些节点通常称为Hadoop客户端。

例如，如果我只是在终端上写一个hdfs命令，是不是 还是个“客户端”？

技术上，是。如果您可以使用hdfs命令访问FS，则该节点具有Hadoop客户端所需的配置和库。

PS： API还可用于以编程方式创建这些客户端。

Answer 2

边缘节点是Hadoop集群和外部网络之间的接口。此节点/主机将具有所有库和客户端组件，以及连接到hdfs的群集的当前配置。 这thread讨论相同