Q

从外部局域网使用火花集群的问题

apache-spark

2016-02-12 78 views 2 likes

2

我想从集群外部使用火花集群本身。问题是，火花绑定到我的本地机专用IP，它能够连接到主，但然后工人无法连接到我的机器（驱动程序），因为IP问题（他们看到我的私人IP，因为火花绑定在我的私人IP）。我可以看到，从工人日志： “--driver-URL”， “火花：// @ CoarseGrainedScheduler PRIVATE_IP_MY_LAPTOP：34355”从外部局域网使用火花集群的问题

任何帮助吗？

2016-02-12 Enrico D' Urso

A

回答

0

尝试设置spark.driver.host（搜索它here获取更多信息）您公共 IP，工人随后将使用该地址，而不是（自动解决）的私有IP。

2016-02-12 12:56:20

+0

你的意思是在工人spark-defaults.conf？ –

+0

这可能会起作用，但不推荐，因为它会将您的群集限制为仅使用该驱动程序机器。创建spark上下文时最好传递该参数 - 请参阅我引用的页面顶部的说明（使用SparkConf.set或使用--conf）。 –

+0

我试过，但我的电脑无法绑定在我的公共IP上，我收到错误。不知道是否有可能绑定在公共IP上在Linux上 –

0

尝试将设置spark.driver.bindAddress设置为0.0.0.0以便驱动程序可以侦听全局。

2017-03-19 08:53:07

相关问题