Spark远程执行群集失败 - HDFS连接拒绝在8020

Question

我有问题从YARN上运行的Spark群集以外的机器提交spark-submit远程作业。

Exception in thread "main" java.net.ConnectionException: Call from remote.dev.local/192.168.10.65 to target.dev.local:8020 failed on connection exception: java.net.ConnectionException: Connection Refused 

在我的核心-site.xml中：

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://target.dev.local:8020</value> 
<property> 

在集群中的我的HDFS-site.xml中

而且我已经功能已停用权限HDFS检查：

<property> 
    <name>dfs.permissions.enabled</name> 
    <value>false</value> 
<property> 

而且，当我从群集外的机器telnet时：

telnet target.dev.local 8020 

我越来越

telnet: connect to address 192.168.10.186: Connection Refused 

但是，当我

telnet target.dev.local 9000 

它说：连接。

另外当我ping target.dev.local它的作品。

我的火花提交从远程计算机上的脚本是：

export HADOOP_CONF_DIR=/<path_to_conf_dir_copied_from_cluster>/ 

spark-submit --class org.apache.spark.examples.SparkPi \ 
--master yarn \ 
--deploy-mode cluster \ 
--driver-memory 5g \ 
--executor-memory 50g \ 
--executor-cores 5 \ 
--queue default \ 
<path to jar>.jar \ 
10 

缺少什么我在这里？

Answer 1

原来我不得不改变

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://target.dev.local:8020</value> 
<property> 

到

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://0.0.0.0:8020</value> 
<property> 

允许连接构成外，因为target.dev.local坐落在一个私人网络交换机。