2017-10-09 59 views
0

是否只有在完成AWS Data Pipeline流中的一项活动后才能启动EMR群集?如何仅在管道流中的活动完成后才在AWS数据管道中启动EMR群集

  1. 从Redshift卸载一些数据(可能需要一个小时或一小时+)。
  2. 开始EMR集群
  3. 在EMR集群执行火花工作
  4. 执行一些其他活动
  5. 终止集群

所以,我想有一个像“开始EMR集群”的依赖应取决于“将数据从Redshift卸载到S3”,并且“终止集群”应该依赖于“执行Spark任务,执行一些其他活动”。

有人可以帮我解决这个问题。

-Krish

回答

相关问题