2014-02-27 61 views
1

1 Tasktracker能运行多个JVM吗?1 TaskTracker可以运行多个JVM吗?

下面是情形:

假设有2个文件(A & B)和2层数据的节点(D1 & D2)。

当装载A,假设它是越来越分成A1 & A2上D1 & D2 和当加载B,假设它是越来越分成上D1 & D2 B1 & B2。

出于某种原因,让我们假设D1正忙于处理一些其他任务 和D2可用,有一对夫妇的工作被提交, 一个使用文件中的,另一种usign文件B.

所以现在D2可用并且具有块A2 & B2。 JobTracker是否会将代码提交给D2上的TaskTracker并且一次运行A2和B2的任务,或者 它会首先运行A2并在完成后运行B2?

如果是这样,再次有可能并行运行这两个任务,这意味着1任务跟踪器和2个jvms,或者它会创建/产卵2在D2上的TaskTrackers?

回答

0

任务跟踪器(TT)可以在单台计算机上并行启动多个映射或减少任务。默认情况下TT会启动2个地图(mapreduce.tasktracker.map.tasks.maximum)和2个reduce(mapreduce.tasktracker.reduce.tasks.maximum)任务。属性必须在mapred-default.xml中配置。

1

默认情况下,Task Tracker为每个任务生成一个JVM。 您可以通过设置此配置参数来重复使用jvms:mapred.job.reuse.jvm.num.tasks

相关问题