如何在集群模式下在纱线上并行运行多个点火作业？

例如，当我向纱线群集提交第一个作业时，作业正在运行，然后提交第二个作业，第二个作业状态从不运行，直到第一个作业完成或成功或失败。如何在集群模式下在纱线上并行运行多个点火作业？

有没有办法在集群模式下在纱线上并行运行多个点火作业？

2017-10-09 jason zhang

这是关于你的队列设置。如果您没有使用--queue QUEUE_NAME明确指定您的作业队列，则纱线会在默认队列中启动，否则（如果在指定队列中提交作业时添加参数--queue system）。您可以在YARN/Configs/Advanced/Scheduler（我使用Ambari）中配置队列（创建新的，设置最大数量的应用程序，在队列之间分配资源等），参数yarn.scheduler.capacity.<queue-path>.maximum-applications。

也读https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

来源

2017-10-09 12:31:34

我已经设置了yarn.scheduler.capacity。。最大应用为10，它仍然不起作用 –

@jasonzhang，哪个队列？尝试yarn.scheduler.capacity.system.maximum-applications到10并在启动应用程序时添加spark-submit参数'--queue system'。确保你有足够的资源来运行多个工作 –

@jasonzhang并检查你的系统队列调度策略，它应该允许启动多个工作（尝试公平） –

如何在集群模式下在纱线上并行运行多个点火作业？

回答

相关问题