Hadoop Streaming-设置每个节点的最大地图数

Question

是否可以设置每个节点运行的地图任务数。
我使用Hadoop Streaming来抓取数据，并且每个节点只需要一个地图任务来避免块。

谢谢，

Answer 1

流与否无关，每个节点映射器的最大＃可以使用本mapreduce.tasktracker.map.tasks.maximum参数进行设置。该参数必须在节点上的mapred-site.xml文件中设置，该属性在客户端上设置时无效。

Answer 2

您是否试过在job.xml中使用以下设置进行游戏？

mapred.max.maps.per.node=1 
mapred.max.reduces.per.node=1 

这些默认为-1，无限（当然除了可用插槽）。