如何设置容器的物理限制在Hadoop中

Question

我使用Hadoop 2.8和运行流招聘读取100MB CSV并在其上进行登录，但我得到了在控制台错误：

Container [pid=20975,containerID=container_1502190583079_0006_01_000002] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.7 GB of 2.1 GB virtual memory used. Killing container. 
Dump of the process-tree for container_1502190583079_0006_01_000002 : 

我不知道如何修复，任何人都可以帮忙，提前感谢。

Answer 1

您应该将map/reduce的java.opts设置为map/reduce容器内存的75％〜80％。如果还不行，增加map/reduce容器的内存。

配置在地图/减少容器存储器（mapred-site.xml中）

mapreduce.map.memory.mb: 1024 
    mapreduce.reduce.memory.mb: 2048 

配置在地图的堆大小/减少java程序（mapred-site.xml中）

mapreduce.map.java.opts: -Xmx768m 
    mapreduce.reduce.java.opts: -Xmx1536m 

详细你可以在这里找到answer。