2014-02-15 84 views
0

任何人都可以帮助我理解hadoop的数据存储概念吗?hadoop文件系统的解释

据我所知,hadoop处理fs图像和数据块,而fsimage和编辑日志路径存储在hdfs-site.xml中。但是数据块呢?任何人都可以帮助我吗?我有点困惑/ user和/ tmp dir实际存在于文件系统中。

我用这个链接来设置单个节点Hadoop集群:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

回答

3

文件是分割成块,并且存储在Hadoop分布式文件系统(HDFS)。有关HDFS的说明,请参阅Yahoo的Hadoop TutorialHDFS module。存储在HDFS中的目录可通过在终端中键入以下命令来查看:hadoop dfs -ls

+0

嘿莱纳德首先thnx很多,我只是想知道在哪里actaully文件存储我知道他们在HDFS但它必须存在下/或我错了? – user1476653

+0

如果你问是否可以从Hadoop之外访问HDFS文件,答案是否定的。 – LeonardBlunderbuss

+0

谢谢leonard,现在我站在它旁边 – user1476653

0

Namenode的FSImage会跟踪哪个Datanode具有哪些文件。在hdfs-site.xml文件中,配置'dfs.data.dir'定义了datanode在文件系统上存储底层文件的位置。这可以是逗号分隔的目录列表(想象多个磁盘)。