0

在本地模式下运行spark sql作业时,我的Spark UI具有一个SQL选项卡。运行EMR Spark脚本,并且Spark UI SQL选项卡消失

enter image description here

当运行在AWS EMR,同样的工作星火UI的SQL作业已不再存在?

enter image description here

  • 我SSH隧道
  • 设置的FoxyProxy设置
  • 可以查看各种EMR UI的浏览器
  • 可以在浏览器中查看星火UI

有没有代码原因,为什么这不会在Amazon的EMR版本的Spark UI中存在?

回答

0

在EMR中Spark有两种不同的UI:1. Spark UI和2. Spark历史记录服务器。

它们看起来是一样的,但是它们来自不同的URL,并且其中一个应用程序完成后仍会继续提供服务,只要EMR群集仍处于运行状态即可。

历史记录服务器AFAIK没有SQL选项卡