2015-07-21 39 views
0

在运行此命令:java.net.ConnectException(端口9000),同时提交的火花工作

~/spark/bin/spark-submit --class [class-name] --master [spark-master-url]:7077 [jar-path] 

我越来越

了java.lang.RuntimeException:java.net.ConnectException :呼吁ec2- [IP] .compute-1.amazonaws.com/[内部IP地址]:失败的连接异常:java.net.ConnectException:连接被拒绝

使用spark版本1.3.0

我该如何解决?

+0

您是否在纱线上运行? – Abdulrahman

+0

@Abdulrahman不,独立模式。 – kamalbanga

+0

你是否从代码中读取本地文件系统中的一些文件?如果是这样,请使用此首字母“file://”并让我知道。 – Abdulrahman

回答

2

当Spark在集群模式下运行时,所有输入文件都将来自HDFS(否则工作人员将如何从主控本地文件读取)。但在这种情况下,Hadoop没有运行,所以它给了这个例外。

开始HDFS解决了这个问题。