请求澄清一些HDFS概念

Question

我不确定这个问题是否属于这里。如果不是，那么我很抱歉。我正在阅读HDFS文件，并且发现很难理解一些术语。请在下面找到我的问题。

1）根据论文，“HDFS命名空间是文件和目录的层次结构，文件和目录由inode表示在NameNode上，它们记录属性如权限，修改和访问时间，命名空间和磁盘空间配额“。 命名空间信息在inode中意味着什么。这是否意味着文件的完整路径？因为，前面的声明表示“HDFS命名空间是文件和目录的层次结构”。

2）根据论文“NameNode维护名称空间树和文件块到DataNode （文件数据的物理位置）的映射”。命名空间树和命名空间都一样吗？有关名称空间的定义，请参阅第1点。名称空间树信息如何存储？它是否作为inode的一部分进行存储，其中每个inode还将具有父节点inode指针？

3）根据本文，“HDFS将整个名称空间保留在RAM中，inode数据和属于每个文件的块列表组成了名称系统的元数据，称为图像。图像是否也包含名称空间？

4）命名空间id的用法是什么？它用于区分两个不同的文件系统实例吗？

感谢，

Venkat

Answer 1

究竟命名空间信息意味着什么的inode。这是否意味着文件的完整路径？因为，以前的声明说：“在HDFS命名空间是文件和目录的层次结构

这意味着你可以浏览你的文件，就像你做你的系统上（通过像hadoop dfs -ls命令），你会看到这样的结果：/user/hadoop/myFile.txt但实际这个文件是根据您的复制因子

都是空间树和命名空间一样吗？请参考1点左右命名空间的定义在几个街区分布在集群上。如何为存储空间树信息？它是否作为inode的一部分进行存储，其中每个inode也将具有父节点inode指针？

当您使用hadoop dfs -copyFrom local myfile.txt /user/hadoop/myfile.txt等命令在HDFS上复制文件时，文件将根据dfs.block.size值（默认值为64MB）进行拆分。然后块分布在您的datanodes（用于存储的节点）上。 namenode保存所有块的映射图，以便在启动时验证数据的完整性（或使用像hadoop fsck /这样的命令）。

图像是否也包含名称空间？

对于这一个我不知道，但我认为名字空间也在RAM中。

命名空间ID的用法是什么？它用于区分两个不同的文件系统实例吗？

是的，命名空间id只是一个ID，它确保了datanode数据的一致性。

我希望能够帮助你，甚至远离详尽的解释。