火花外壳的执行程序和内核的默认数量

如果我在火花外壳中运行火花程序，程序是否有可能将整个hadoop集群烧烤数小时？火花外壳的执行程序和内核的默认数量

通常有一个名为num-executors和executor-cores的设置。

spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8

但如果它们没有指定，我只是运行“火花外壳”......它会消耗整个集群？或者是否有合理的默认值。

大多数配置属性的默认值可以在Spark Configuration documentation中找到。在您的示例中的配置属性，所述默认值是：

spark.driver.memory =1克

spark.executor.memory = 1g的

spark.executor.cores = 1 YARN模式，独立模式下员工的所有可用内核。

此外，还可以通过与你想要的（如描述here）的属性创建文件$SPARK-HOME/conf/spark-defaults.conf覆盖这些默认值。然后，如果文件存在所需的值，则不需要将它们作为参数传递给spark-shell命令。

2016-05-10 00:24:24

纱容器的数量呢。 –

@KnowsNotMuch我对YARN上的Spark并不熟悉，但是你可以在Spark的[Running on YARN documentation]上找到你需要的东西（http://spark.apache.org/docs/latest/running-on-yarn html的＃配置） –

回答