EMR集群中的映射器分布

Question

EMR如何在分配映射器时优先考虑核心和任务节点？它甚至重要吗？

示例：示例工作需要5个映射器。核心节点和任务节点可独立处理5个映射器。核心节点是否可以获得所有5个映射器，或者任务节点是否可以获得所有5个映射器？还是混合搭配（基于专有EMR算法）？

Answer 1

EMR目前没有做任何关于在CORE或TASK实例上放置映射器的特殊功能。但是，Hadoop将默认尝试执行数据本地化，这意味着如果映射器正在读取HDFS，则映射器可能运行在CORE实例（运行HDFS）上的可能性高于TASK实例（不运行HDFS-这是CORE和TASK实例之间唯一的区别）。