2

独立模式Apache Spark:如何在火花独立模式下完成应用程序级调度?

没有的“应用程序级调度”可这么多的信息即应用程序如何多次被安排在火花单机模式。只有这个链接http://spark.apache.org/docs/latest/job-scheduling.html。我唯一能找到的就是它的一个FIFO调度器。据我了解,独立调度也可以在静态或动态模式下完成。但我找不到任何有关动态模式的信息。有人能详细解释火花独立模式下的应用程序调度吗?

+0

您可以配置内核数量,每个执行程序的RAM数量,以及SparkSession级别的任何内容。 SparkSession =火花应用程序。这是一个动态配置 –

回答

0

有关动态模式的信息。

这是当您动态配置您的应用程序将要使用的资源。

例如,您可以配置内核数量,每个执行程序的内存数量,执行程序数量等。

了解更多Dynamic Resource Allocation

相关问题