允许多个hadoop/EMR任务在关闭之前失败

Question

我试图在Amazon Elastic MapReduce上使用hadoop，其中有数千个地图任务要执行。如果有一小部分任务失败，我确定，但是，亚马逊关闭了这项工作，并在第一个映射器失败时失去了所有结果。有没有可用于增加允许的失败作业数量的设置？谢谢。

Answer 1

这里的答案Hadoop的：

Is there any property to define failed mapper threshold

要使用上述电子病历中描述的设置，看一下：

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop

具体而言，您创建一个XML文件（配置。 xml在示例中）与您想要更改并应用引导操作的设置：

./ela stic-mapreduce --create \ --bootstrap-action s3：// elasticmapreduce/bootstrap-actions/configure-hadoop \ --args“-M，s3：//myawsbucket/config.xml”