无法在Spark-1.2.0上部署工作人员

我是新来点火并在hadoop 2.4.1中使用spark-1.2.0。我建立了主站和四个从站节点。但是我的两个节点没有启动。我已经在spark-1.2.0/conf /目录下的slaves文件中定义了节点的IP地址。无法在Spark-1.2.0上部署工作人员

但是当我尝试运行./sbin/start-all.sh错误如下：

failed to launch org.apache.spark.deploy.worker.Worker 

could not find or load main class org.apache.spark.deploy.worker.Worker

这是发生了两个节点。其他两个工作正常。

我也在master和slave上设置了spark-env.sh。主人也有无密码的SSH连接到奴隶。

我也试着做./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

它给出了相同的错误了。有人可以帮我弄这个吗。我在哪里做错了？

2015-01-16 Saheb

所以我想出了解决方案。对于所有开始使用spark的人，请检查lib文件夹中的所有jar文件。我的奴隶中有spark-assembly-1.2.0-hadoop2.4.0.jar文件丢失。

2015-01-16 11:17:08 Saheb

我也遇到了同样的问题。如果这是localmode群集设置，那么你可以去运行：

./sbin/start-master.sh 
./sbin/start-slave.sh spark://localhost:7077

然后运行：

MASTER=spark://localhost:7077 ./bin/pyspark

我是能够执行的shell我的工作。

也改变localhost您hostname。

2015-12-24 00:48:34 TangledMaximus

回答