Spark Scheduler强制执行应用程序

Question

当提交多个应用程序以在同一群集上激发时，spark会以先入先出的方式对它们进行排序，直到前一个完成才能开始工作。我试图找到一种方法来让应用程序跳过队列并成为下一个在调度器中运行的应用程序。有没有办法做到这一点？我无法从文档或用户界面找到任何内容。

Answer 1

原来的答案是，如果在第一个应用程序/作业之后启动，则无法强制单个应用程序或作业先于另一个应用程序或作业启动。

但是，您应该确保在群集中正确设置队列，以便您的队列不会为执行者而战。在这种情况下，其中一个队列有能力使用最多100％的火花总执行者。在该队列中，由于其应用程序/作业中存在一些错误，火花作业已排队等待处理而未处理。因为运行该队列的队列可以访问高达100％的执行程序，所以之后的每个作业无论它们处于什么队列中，都必须等待它在运行之前完成，并积压整个群集。