如何在hadoop中检查集群的完整路径dfs

Question

hadoop dfs默认只有hows相对路径。例如

Hadoop的DFS -ls/ ..../TMP1/ ..../TMP2/

如何检查哪个集群是从。完整的路径。

Answer 1

您只有一个集群是Hadoop集群，并且在此集群中您有一次Namenode（可能会添加化身节点或备份节点）和多个datanodes。 HDFS在群集级配置，因此namenode运行HDFS主组件，所有数据节点都运行HDFS从组件，但从逻辑角度来看，群集中只有一个HDFS散布。

所以，现在当您调用hadoop Dfs -ls命令时，您将获得HDFS的逻辑视图，它将显示每个节点上可用的文件系统视图。这是每个人都会在任何节点看到的。

HDFS配置解释HDFS在namenode和datanodes内配置的物理文件夹。打开你的conf/hdfs-sites.xml，它会告诉你物理路径是什么

<property> 
<name>dfs.name.dir</name> 
<value>FOLDER_INFO</value> 
</property> 
<property> 
<name>dfs.data.dir</name> 
<value>FOLDER_INFO</value> 
</property>