Q

是否可以通过EMR（通过VPC）看到Spark UI？

2016-11-05 37 views 0 likes

0

我已经经历了https://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-ssh-tunnel-local.html中描述的过程，通过本地端口转发打开ssh隧道，然后转到http://localhost:8157/。是否可以通过EMR（通过VPC）看到Spark UI？

这将弹出Hadoop/YARN界面，此时我点击Tracking UI/ApplicationMaster链接，并收到“此站点的服务器DNS无法找到”页面。

根据AWS文档http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-spark-history.html应该将我带到Spark UI。

是否有另一个步骤我错过了能够看到Spark UI？

2016-11-05 flybonzai

A

回答

1

最好的体验来自于通过SSH使用SOCKS代理，以便它可以动态支持URL和端口。看看https://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-ssh-tunnel.html。

2016-11-06 02:28:10 ChristopherB

+0

一旦你打开SOCKS代理，你应该去的网址是什么？这是我似乎无法找到的。 – flybonzai

+0

启用SOCKS后，返回到EMR控制台，选择群集，并在顶部如果代理设置，您将看到超级链接到资源管理器，从中选择应用程序URL将正确重定向到Spark应用程序的Spark UI。 – ChristopherB

相关问题