Spark Jobserver max-jobs-per-context

Question

如何确定max-jobs-per-context设置的安全最大阈值，该设置控制在上下文上运行的并发Spark作业的数量？如果你太高，会发生什么？默认设置为8（请参阅下面的链接），我想将它设置得更高，但我不确定如果将它设置得太高会发生什么。

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/main/resources/application.conf

Answer 1

，我们在生产中使用的一种方法是把一个队列火花jobserver和控制作业提交的前面。 SJS没有内置排队机制。