1
我正尝试使用AWS Data PipeLine在EMR群集中设置运行Spark作业的流程。我们的流程按照“按需”计划运行。如何通过AWS数据管道行在AWS EMR群集中运行多个并行点火作业
作为此活动的一部分，我们在管道开始时创建一个EMR集群，然后我们希望并行地在一个emr集群上运行多个spark任务。
有没有，我们可以在数据管道上按照“按需”计划运行并行作业。
A
回答
0
你可以看看这个例子
https://github.com/ychantit/airflow_aws_utils 基本上你将需要提交使用ssh连接到电子病历工作，看自己 但它没有使用AWS datapipeline作业的执行...
相关问题
- 1. 在长时间运行的EMR集群上设置AWS数据管道
- 2. 通过Flink REST API在AWS EMR上运行Flink作业
- 3. 如何使用AWS数据管道并行运行多个Hive活动？
- 4. 如何在AWS群集上运行TensorFlow？
- 5. 带有火花的AWS DataPipeline EMR集群
- 6. 使用数据管道进行火花作业的EMR活动
- 7. 如果emr活动在aws数据管道中失败，请运行shell命令
- 8. 通过AWS数据管道运行python脚本
- 9. AWS Data Pipeline配置EMR集群运行Spark
- 10. 使用AWS数据管道 - EMR vs EC2
- 11. 如何在集群模式下在纱线上并行运行多个点火作业？
- 12. 如何仅在管道流中的活动完成后才在AWS数据管道中启动EMR群集
- 13. OperationTimeoutException Cassandra集群AWS/EMR
- 14. 不能够在AWS EC2运行多节点集群
- 15. 如何在aws数据管道下运行子树
- 16. 在dynamoDB数据上运行EMR作业
- 17. 如何在aws上已经运行的EMR集群上安装Apache钻取
- 18. 监控AWS EMR中的火花集群，无火花UI
- 19. 运行EMR集群外星火客户端和连接到YARN
- 20. 运行EMR作业的最低AWS策略要求
- 21. 在AWS EMR上运行Spark，如何在主节点上运行驱动程序？
- 22. 运行猪用口红在AWS EMR
- 23. 通过传递证书在AWS EMR上运行spark
- 24. 用于自动终止EMR集群的AWS数据管道选项
- 25. 运行串行作业的HPC群集
- 26. 如何在运行时管理Quartz作业的集群模式？
- 27. 我可以像在本地群集上一样在EMR上运行作业
- 28. 如何在windows的amazon弹性mapreduce（emr）集群上运行mapreduce作业？
- 29. 在Amazon EC2上运行hadoop作业：多节点群集
- 30. 如何执行AWS emr和redshift脚本？
分配你的集群是一个“工作组”，并且所有的Spark活动都在那里运行。如果他们不相互依赖，他们应该同时开始。那么你只需要在YARN上配置你的Spark（或其他任何调度程序）来以最有效的方式处理并发作业。 – user4601931
谢谢，这个选项工作。除此之外，是否有可能在我的EMRActivity失败时运行单独的活动（可以是任何活动）。我只能看到我们可以发送通知。我可以通过lambda处理我的通知，并可以处理它。但是在同一条管线中是有可能的。 – Krish