限制地图减少作业使用更少的资源

Question

我正在使用Hadoop 2.5.0-cdh5.3.3。我创建了一个减少地图的作业，导致大量的地图作业。因此它消耗了所有的资源。我怎样才能防止它只使用有限的资源？

Answer 1

您可以将块大小增加64 mb到更高的配置， 或 您可以设置一个名为“mapred.map.tasks”的参数来限制每个节点的地图任务数。

注意：这将影响性能，因为更多数量的块将分配给任务跟踪器节点。