从Dataproc集群上的Spark UI获取文件时的http代码302

我启动了Dataproc集群，并且在端口4040上使用Web UI时遇到问题。首先显示spark-shell显示的IP和端口。然后，当我在Spark UI端口上找到一个URL时，显示302错误代码。从Dataproc集群上的Spark UI获取文件时的http代码302

wilsonbill522 @ cluster-db78-m：〜$ spark-shell 将默认日志级别设置为“WARN”。要调整日志记录级别，请使用sc.setLogLevel（newLevel）。对于SparkR，使用setLogLevel（newLevel）。 ivysettings.xml文件中HIVE_HOME或HIVE_CONF_DIR没有找到，在/ etc /在http://10.128.0.2:4040

使用wget端口4040蜂房/ conf.dist/ivysettings.xml将用于星火背景下的Web UI提供，我得到一个响应与每个URL HTTP代码302以外的“工作” URL 例如：

wget的http://10.128.0.2:4040/proxy/application_1505052986245_0002/static/timeline-view.js

不幸的是，因为计算器决定我张贴链接我不能发布的输出。但是，上述命令的结果是HTTP 302响应代码。

上面的wget是在不同的ssh会话中的主节点上执行的。 302响应重定向到“jobs”URL（我无法在此处拼出实际的URL，因为它会触发链接上的某些限制性计算器），这没有任何意义。

来源

2017-09-10 bill wilson

如果您浏览通过端口8088要经过纱线UI，然后找到相应的纱线应用程序会发生什么重定向的URL到你的Spark上下文，单击“应用程序主”来到Spark UI？ –

你还没有告诉wget重定向到必要的网站 –

我在浏览器中访问了http://10.128.0.2:8088/cluster，它显示出一些理智的东西。修改我在这个页面上找到的URL到http://10.128.0.2:8088/proxy/application_1505077572981_0001/似乎是我可能能够忍受的spark web ui。有什么我可以做，使端口4040工作，就像它应该？有没有其他人看到端口4040的这个问题？ –

它看起来像Spark Web UI格式化所有URL相对于YARN资源管理器代理，但它的显示的某些部分使用了错误的主机/端口（具体来说，在火花外壳输出中显示的是什么）。我猜测这是一个在YARN客户端模式下运行的工件，但我还没有确定。

至于Dennis Huo提到的，您可以访问通过纱线RM代理端口8088

来源

2017-09-10 17:31:39

从Dataproc集群上的Spark UI获取文件时的http代码302

回答

相关问题