如何更改每个作业的io.sort.mb？

我想知道如果我可以改变每个作业io.sort.mb的价值？我知道你可以为mapred-site.xml中的参数设置一个值，但是我希望在不同的工作中以编程方式使用不同的值。我试过conf.setInt（“io.sort.mb”，someValue），但它似乎不工作。 JVM设置具有足够的内存（如2.25GB），并且没有其他作业正在运行。如何更改每个作业的io.sort.mb？

来源

2012-06-17 kee

当然，只是将其设置在Configuration（JobConf在早期版本），你提交之前。它确实有效;我在Mahout中使用它。请确保您设置conf到您Job您设置的值之后，你提交之前。确保你也设置了正确的conf！也许你可以说你如何知道它不工作。

来源

2012-06-18 06:49:36

一个很好的问题，谢谢！我想我用的方式是正确的，但不知何故，我没有看到溢出的记录有任何变化，所以我怀疑有什么错在我身边。无论如何仔细检查呢？ – kee

它应该在的TaskTracker它记录了多少分配和拍摄消息关于它有多少种方法合并输出，以及如何需要众多通行证。这应该受到像这样的设置的影响，所以你应该看到一定的差异。查看Mahout的'RecommenderJob'，在这里设置这些值作为示例。 –

从日志，我发现它确实是工作，但它看起来像我需要增加规模多一点。谢谢！ – kee

如何更改每个作业的io.sort.mb？

回答

相关问题