2016-03-03 55 views
1

我想请问一个块被创建。是否默认文件系统上创建64MB块或创建一个基于文件传输活动HDFS块创建

假设我已经建立了10节点集群设置。我正在所有节点上安装hadoop。块如何被创建。一旦我启动hdfs服务,块就会在linux系统上创建。它是否创建了一个4k块的物理64 MB块? (基本块大小)。

当我移动的大小为128 MB一个文件将有两个块创建的。块创建是否在两个节点上发生?哪个组件实际上将文件分割成块?

我只是Hadoop的初学,所以问这些问题得到一个清晰的认识

+0

HDFS块是从正常文件系统块不同。它们不基于文件传输活动,并且无论群集中有多少个节点,块都是相同的。默认情况下,每个块的复制因子为3。这里将*用于128MB的文件,因为文件可以跨越多个块和块可以包含部分文件 –

+0

感谢至少2个*块。您在说,一旦我们在所有节点上安装并执行HDFS服务,就会在(多个4k)的Linux文件系统之上创建HDFS块。一旦输入文件到达,系统将文件分割成64MB(比如说)并放入一个块中。 – Karthi

+0

正确,HDFS是在集群的逻辑文件系统,汇集在集群的所有物理文件系统一起。我相信它的MapReduce来处理拆分文件,写那些分裂磁盘 –

回答