2016-03-03 46 views
1

我有一个关于Hadoop的架构的Hadoop和MapReduce配置

  1. 几个问题,在MapReduce的我们可以动态地修改块大小和没有映射器的,如果是的话,我们怎么办?

  2. Hows是否在HDFS中创建块。例如hadoop框架安装在redhat linux机器上。 Linux文件系统的默认块大小是4k。 HDFS是否是4k块上的逻辑包装或者块是如何创建的?也是平行还是顺序?因为例如一个文件只有32MB,因为块大小是64MB。其余32 Mb是否可重复使用?

  3. 我想查看刚刚复制到HDFS的特定文件的所有块的位置(数据节点)。有没有任何命令可以从一个地方做到这一点?

  4. 如果我移动视频文件到HDFS,如何块分配发生此视频文件

+1

太多的问题在一个问题:) –

+0

任何上述问题的任何暗示将是对我来说非常有用:) – Karthi

回答

1
  1. 在MapReduce的我们可以动态地修改块大小和没有映射器的?

我假定您正在寻找HDFS文件系统。

HDFS是分布式存储系统和Mapreduce是分布式处理框架。

HDFS块的大小可以与HDFS-site.xml中

看一看文档page关于各种HDFS配置来改变。

dfs.blocksize

(缺省值)

默认块大小为新文件,以字节为单位。您可以使用以下后缀(不区分大小写):k(千),m(兆),g(千兆),t(太拉),p(贝),e(示例)指定大小如128k,512m,1g等),或者以字节(例如134217728为128MB)提供完整大小

相关SE问题:

How to set data block size in Hadoop ? Is it advantage to change it?

  • 怎么样了确实的块被在HDFS创建。例如hadoop框架安装在redhat linux机器上。 Linux文件系统的默认块大小是4k。 HDFS是否是4k块上的逻辑包装或者块是如何创建的?也是平行还是顺序?因为例如一个文件只有32MB,因为块大小是64MB。其余32 Mb是否可重复使用?
  • 剩余32 MB可重复使用。

    看一看为HDFS块写入操作中,这SE问题:

    Hadoop file write

  • 我想看的位置(数据节点)的所有我刚刚复制到HDFS的特定文件块。有没有任何命令可以从一个地方做到这一点?
  • hadoop fsck /path/to/file -files -blocks 
    

    相关SE问题:

    Viewing the number of blocks for a file in hadoop

  • 如果我移动视频文件HDFS,如何块分配发生这个视频文件?块
  • 总数=文件大小在MB/DFS块大小在MB

    一旦已经确定块的数量,如在Hadoop的文件写入的问题说明的那些块将被写入。

    很少有更多的好问题:

    Hadoop chunk size vs split vs block size

    How hadoop decides how many nodes will do map and reduce tasks