2011-11-18 30 views
3

我已经通几个Hadoop的信息著作和论文。差异和插槽,地图任务,数据分片之间的关系,映射

A插槽是一个映射/降低计算单元在节点处。它可能是地图或缩小插槽。 据,我知道分裂是一组在HDFS具有其中它们ARES存储节点的一些长度和位置的文件的块。 映射器是类,但是当代码被实例化时,它被称为映射任务。 对吗? 我不清楚地图任务,数据分割和Mapper之间的差异和关系。

关于调度我明白,当一个节点的地图时隙是免费的映射任务从所述非运行映射任务choosen并推出如果由地图任务被处理的数据是节点。 任何人都可以在上面的概念来解释清楚:插槽,映射器和地图任务等

感谢, 阿伦

回答

3

至于,我知道分裂是一组在HDFS文件的块它们存储的节点的长度和位置相同。

InputSplit是特定映射器将处理的数据单位。它不一定只是一组HDFS块。它可以是单行,100行,DB,50MB文件等。

我不清楚地图任务,数据分割和Mapper之间的区别和关系。

InputSplit由map任务处理,Mapper的一个实例是Map任务。

0

据我了解:在HDFS
第一数据分割到数据节点
那么当有一个新的作业时,作业跟踪鸿沟这项工作为Map和Reduce任务 然后工作跟踪每一个地图的任务分配给已经具有与该地图任务相关的数据分割的节点,所以数据在节点中是本地的,并且将不存在移动数据的成本,因此执行时间越少越好,但是有时我们必须将任务分配给节点其具有未在其上的数据,因此节点具有打通网络的数据,然后对其进行处理

0

输入分流而不是数据是指映射减少过程的特定数据量的数据。通常它与块大小相同,因为如果两者的大小不同并且某些数据位于不同节点上,则我们需要传输该数据。

0

制图员:映射器是一类。 MAPPER PHASE:mapper阶段是一个输入,输出代码来转换键和值对(键,值)中的值。 MAPPER SLOT:执行映射器和缩减器代码。

相关问题