Apache Spark独立群集调整参数

Question

加载的问题我知道。我正在与一个应用团队合作，我们已经站出了独立的Spark集群。想知道为了让他们的工作尽可能地发挥集群性能，必须设置哪些参数或事项？

我知道这是很广泛的，这里的参数https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkConf很多，只是想知道是否有这样一组基准的专家总是先设定然后调整后？

Answer 1

正如您所提到的，您正在与应用程序团队合作，我认为您已在多个应用程序之间共享Spark集群。

独立群集默认使用所有可用的执行程序。

通过设置执行程序内存大小来控制资源分配。如果您使用的是标记为--executor-memory的spark-submit集合大小。将最大核心数设置为--total-executor-cores标志。其他是部署客户端或集群的部署模式。默认情况下它是客户端。使用--deploy-mode cluster设置为群集

请求内存应该在群集中可用，否则独立群集将不允许执行程序为您的应用程序运行。