SPARK_WORKER_INSTANCES设置在Spark独立窗口中不起作用

Question

我试图设置独立的Spark 2.0服务器来并行处理分析功能。要做到这一点，我想运行8名员工，每个员工只有一个核心。但是，Spark Master/Worker UI似乎并未反映我的配置。

我使用：

• 独立火花2.0
• 8个核24gig RAM
• Windows Server 2008的
• pyspark

spark-env.sh文件被配置为如下：

SPARK_WORKER_INSTANCES = 8 
SPARK_WORKER_CORES = 1 
SPARK_WORKER_MEMORY = 2g 

火花defaults.conf被配置如下：

spark.cores.max = 8 

我启动主：

：

spark-class org.apache.spark.deploy.master.Master 

我通过批处理文件内运行此命令8次启动工

spark-class org.apache.spark.deploy.worker.Worker spark://10.0.0.10:7077 

问题是UI显示如下：

正如你所看到的，每个worker都有8个内核而不是1个内核，我已经通过SPARK_WORKER_CORES设置分配了它。此外，内存反映了整个机器内存，而不是分配给每个工人的2g。我如何将Spark配置为在独立模式下为每个工作者运行1核心/ 2g？

Answer 1

我解决了这个问题，将核心和内存参数添加到工作人员本身。

start spark-class org.apache.spark.deploy.worker.Worker --cores 1 --memory 2g spark://10.0.0.10:7077