ElasticMapReduce：每个EC2类型的映射器/缩减器的数量

我想知道基于您选择的EC2服务器的实例类型，映射器和缩减器的数量是否会有所不同？我发现大型实例使用3个映射器和1个reducer。对于其他类型（例如，xLarge实例），这是否一样？我知道我可以通过bootstraping覆盖它，但只是想知道。ElasticMapReduce：每个EC2类型的映射器/缩减器的数量

来源

2013-08-21 kee

不，每个实例类型都不相同。亚马逊有一个Hadoop默认配置的概念，由AMI版本控制，最新的一个是AMI-2.3。这些配置定义为一些hadoop的配置的默认值，例如，用于一个m1.xlarge，以下配置默认设置的使用AMI-2.3

Parameter Value 
HADOOP_JOBTRACKER_HEAPSIZE 6912 
HADOOP_NAMENODE_HEAPSIZE 2304 
HADOOP_TASKTRACKER_HEAPSIZE 384 
HADOOP_DATANODE_HEAPSIZE 384 
mapred.child.java.opts -Xmx768m 
mapred.tasktracker.map.tasks.maximum 8 
mapred.tasktracker.reduce.tasks.maximum 3

有关详细参阅以下内容： http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/HadoopMemoryDefault_AMI2.3.html http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-config.html

来源

2013-08-21 09:09:34 Amar

确实我在EMR上运行了xLarge实例，发现每个实例有8个映射器和3个reducer。 – kee

为ami类型默认的mappers/reducers数量，请参阅此链接：http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration.html – Alexander

ElasticMapReduce：每个EC2类型的映射器/缩减器的数量

回答

相关问题