8
我试图在我的Amazon Elastic MapReduce作业上启用错误输入跳过。我下面在这里描述的奇妙配方:用boto设置hadoop参数?
http://devblog.factual.com/practical-hadoop-streaming-dealing-with-brittle-code
上面的链接说,我需要以某种方式设置的EMR任务以下配置参数:
mapred.skip.mode.enabled=true
mapred.skip.map.max.skip.records=1
mapred.skip.attempts.to.start.skipping=2
mapred.map.tasks=1000
mapred.map.max.attempts=10
如何设置这些(和其他)使用博托在JobFlow上的mapred.XXX参数?
谢谢!这对我有效。当我用['-D','...']为同一组值指定相同的参数并使用“step”而不是bootstrap时,它有时会起作用,但添加此引导程序步骤似乎使此子弹 - 证明。 – Suman