如何知道Spark作业的状态

Question

现在我有一个在amazon ec2上运行的工作，我使用putty连接到ec2集群，但只知道putty的连接丢失了。当我重新连接ec2集群后，没有输出任务，所以我不知道我的工作是否还在运行。任何人都知道如何检查Spark工作的状态？

感谢

Answer 1

假设你是纱线集群上，你可以运行 纱应用-list 得到appliactions的列表，然后运行 纱应用-status的applicationID 知道状态

Answer 2

它当在远程机器上工作时，使用GNU Screen（或其他类似工具）保持会话保持活动状态（但分离，如果连接与计算机丢失）是一种很好的做法。

Spark应用程序的状态可以从Spark UI（或Yarn UI）中确定。

如果您正在寻找CLI命令：

对于独立的集群使用：

spark-submit --status <app-driver-id> 

对于纱线：

yarn application --status <app-id>