在客户端机器提交火花

我在本地系统中运行eclipse中的Spark Twitter感性分析代码。服务器中的所有hadoop和spark集群设置。是否有可能在我的本地系统中运行群集设置不是他们的？在客户端机器提交火花

如果是，请指导我如何。在运行我给参数作为

> --class com.dhruv.Predict \ 
> --master spark://<spark cluster ip>:7077 \ 
> --num-executors 2 \ 
> --executor-memory 512m \ 
> --executor-cores 2 \ target/twittersentiment-0.0.1-jar-with-dependencies.jar \ 
> hdfs://tmp/tweets/dataset.csv trainedModel \ 
> --consumerKey \ 
> --consumerSecret \ 
> --accessToken \ 
> --accessTokenSecret

但它不工作。请指引我

来源

2016-11-24 user2894607

'--master spark：//your.server：7077'？ –

我编辑了我的问题。我给了它，但它不工作。 – user2894607

另外两个：首先，jar文件必须是全局可见的，例如它必须位于同一目录中的每个群集计算机上或hdfs中 –

正如在评论中提到：

文件必须是全局可见的，所以应该在每台机器上或分布式文件系统相同的路径，例如，在HDFS

复制你的JAR到每台机器或HDFS

来源

2016-11-24 12:10:10

在客户端机器提交火花

回答

相关问题