Scala Spark连接到远程集群

我希望连接到远程集群并执行Spark进程。所以，从我读过的，这是在SparkConf中指定的。Scala Spark连接到远程集群

val conf = new SparkConf() 
    .setAppName("MyAppName") 
    .setMaster("spark://my_ip:7077")

其中my_ip是我的群集的IP地址。不幸的是，我拒绝了连接。所以，我猜测必须添加一些凭证才能正确连接。我将如何指定凭证？看起来它会用.set（key，value）完成，但是没有关于这方面的线索。

你连接到星火独立集群或纱线进行设置？ – jamborta

@jamborta我正在连接纱线 –

尝试为ssh会话创建证书并确保它能正常工作，并检查防火墙是否允许此端口连接 – Pavel

有两样东西丢失：

集群管理器应设置为yarn（setMaster（“线”））和部署模式，以cluster，当前设置用于星火独立。这里更多的信息： http://spark.apache.org/docs/latest/configuration.html#application-properties
此外，您还需要从集群yarn-site.xml和core-site.xml文件并把它们放在HADOOP_CONF_DIR，使星火可以拿起纱设置，如您的主节点的IP。更多信息：http://theckang.com/2015/remote-spark-jobs-on-yarn/

顺便说一句，这会工作，如果你使用提交作业，编程它更复杂，实现它，只能用yarn-client模式，这是棘手的设置远程控制。

2017-04-26 10:18:46 jamborta

为了使用火花，你应该在应用程序初始化配置，使用--master yarn您spark-submi吨命令或setMaster("yarn")推出纱线的应用。
如果情况发送从远程主机"spark-submit"命令可用于popuar Java Secure Channel (JSCH)当然环境参数应在集群已经

2017-04-26 12:38:38 FaigB

回答