如何查看Spark独立群集的聚合日志

Question

Spark在Yarn上运行时，我可以简单地使用yarn -logs -applicationId appId在Spark作业完成后查看聚合日志。什么是Spark独立群集的等效方法？

Answer 1

经由Web Interface：

星火的独立模式提供了一个基于Web的用户界面来监控 集群。主人和每个工作人员都有自己的Web UI，显示 群集和工作统计信息。默认情况下，您可以通过端口8080访问主端口 的Web UI。端口可以在 配置文件中或通过命令行选项进行更改。

另外，每个作业的详细日志输出也写入到每个从节点（SPARK_HOME /默认工作）的 工作目录中。你 将看到每个作业stdout和stderr的两个文件，其所有输出 写入其控制台。

请在Monitoring and Instrumentation找到更多的信息。