监控AWS EMR中的火花集群，无火花UI

Question

我正在AWS EMR上运行Spark集群。如何在不使用Spark UI的情况下获取在AWS EMR上运行的所有作业和执行程序的所有详细信息。我将用它来监视和优化。

Answer 1

您可以签出Nagios或神经节以获得群集健康状况，但是无法看到使用这些工具在火花上运行的作业。

Answer 2

如果您使用的是AWS EMR，则可以使用lynx服务器执行此操作。像下面的东西。

1. 登录到群集的主节点。

2. 尝试下面的命令

   山猫http://localhost:4040

注意：您键入的命令之前，请确保您正在运行的工作