Apache Spark：如何更改Spark驱动程序侦听的端口

我试图在客户端模式下使用Yarn作为主服务器运行Spark作业，而且我正面临特定问题。日志中说Yarn ApplicationMaster正在等待Spark驱动程序可到达，然后在某个时候抛出一个异常，说明Yarn ApplicationMaster无法连接到驱动程序的10.60.18.77：34332。现在，我知道IP可以访问，但端口并不是因为防火墙阻止了它。试图让管理员打开一个端口是很乏味的。那么是否有一种方法可以让纱线应用程序监听另一个端口20002，我知道它是开放的而不是34332？Apache Spark：如何更改Spark驱动程序侦听的端口

来源

2016-03-15 thisisshantzz

你可以做到这一点在你的设置spark.driver.port=20002

例如火花提交，你可以使用的东西LIK：

$ spark-submit --master yarn-client --conf spark.driver.port=20002 ....

来源

2016-03-15 13:41:51 user1314742

非常感谢。这工作。 – thisisshantzz

Apache Spark：如何更改Spark驱动程序侦听的端口

回答

相关问题