从Lambda同时提交EMR中的Spark作业

Question

我的应用程序需要使用EMR火花作业实时处理数据。

我使用的是Lambda的EMR的addJobFlowSteps API，但它本质上是顺序的。

是否有任何其他方式从本质上是并发的Lambda提交乔布斯到EMR？

Answer 1

您可以使用自定义'spark-submit'脚本。

我用这个：

cat /usr/bin/spark-submit-forked 
#!/bin/bash 

(nohup spark-submit "$@" > /dev/null 2>&1 &)