覆盖默认的jvm复用值

Question

我们在hadoop的mapred-site.xml中将mapred.job.reuse.jvm.num.tasks设置为-1（即，无限制地重复使用jvm）。但我想在我的一个mapred作业中覆盖这个属性。是否有可能只为一个工作覆盖这个值为1。

Answer 1

您可以覆盖在各个configuration.xml文件中未标记为final的任何属性。要做到这一点

1. 将命令行参数传递给-D property_name=value。

2. 或者通过配置在您

   mapred工作

   Configuration.set（ “PROPERTY_NAME”， “值”）;

Answer 2

你可以使用公共无效setNumTasksToExecutePerJvm（INT numTasks）。它允许我们设置派生任务JVM在退出之前应该运行的任务数量