纱线上的火花：如何防止计划多个火花工作

纱线上有火花 - 我没有看到阻止同时工作被安排的方法。我有我的架构设置纯粹批处理。纱线上的火花：如何防止计划多个火花工作

我需要这个，原因如下：

资源约束
UserCache火花真正快速增长。运行多个作业会导致缓存中的空间爆炸。

理想情况下，我很想看看是否有一个配置可以确保只有一个作业在纱线上随时运行。

来源

2016-04-13 Keshi

您可以运行创建一个队列，该队列只能托管一个应用程序主控并运行该队列上的所有Spark作业。因此，如果一个星火作业正在运行其他的将被接受，但他们不会被调度和运行，直到运行中的执行已经完成......

来源

2016-04-13 07:50:26 mgaido

我使用的是HortonWorks的HDP。我看到有一个队列正在使用，但没有看到如何配置它，以确保只有一个运行。任何提示配置寻找？ – Keshi

您可以在这里找到Hortonworks关于队列管理的一些文档（https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/bk_performance_tuning/content/section_create_configure_yarn_capacity_scheduler_queues.html）。正如你所看到的，队列的其中一个设置是被接纳的应用程序的最大数量...... – mgaido

终于找到了解决办法 - 在纱文件：yarn.scheduler.capacity .max-applications必须设置为1而不是10000.

来源

2016-04-15 00:34:09 Keshi

纱线上的火花：如何防止计划多个火花工作

回答

相关问题