2016-05-16 95 views
1

我们已经安装了一个使用server_start.sh在火花集群上启动的spark-jobserver,但无论我们如何去做,我们都无法使其在多个工作人员上启动。我们可以设法让它运行几个核心和更多的内存,但不能通过几个节点。是spark serverserver不能在集群中的多个节点上启动

我们尝试的命令如下:

./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 6 
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 4 --executor-cores 2 
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=4 --conf spark.driver.memory=7g 
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=6 --conf spark.driver.memory=7g 

前两个命令推出,表明使用一个核心和1GB一个工人,而第三个节目采用4个内核和7G一个工人。第四个命令显示要使用的6个核心,但状态为已提交。

我们已经验证,它可以在多个工作人员上启动并应用,方法是使用以下命令启动spark shell,该命令显示为具有2名工作人员和共6个内核的运行驱动程序。

./spark-shell --master spark://IP:PORT --total-executor cores 6 

希望有任何帮助。

回答

0

Spark jobserver实际上是spark driver而不是应用程序。我不能把工作量分配给工人。