如何通过Spark Hidden Rest获取所有工作状态API

根据您的需要，您可以使用：8080/json来获取代表所有应用程序的json。你应该看到一个activeapps阵列具有每个应用上的短信息（包括它的状态，例如正在运行）：

例如，如果我打开了火花壳我得到以下领域的JSON：

"memoryused" : 82944, 
    "activeapps" : [ { 
    "starttime" : 1484638046648, 
    "id" : "app-20170117022726-0113", 
    "name" : "Spark shell", 
    "cores" : 60, 
    "user" : "assaf", 
    "memoryperslave" : 27648, 
    "submitdate" : "Tue Jan 17 02:27:26 EST 2017", 
    "state" : "RUNNING", 
    "duration" : 26954 
    } ],

请注意，这基本上是添加/ json到UI端口，而不是去提交端口。

来源

2017-01-17 07:31:00

我需要的是获得工作状态，最好不要每次获得所有工作，而只需要三角洲 - >按时间戳或按提交ID列表 – user601929

您可以扩展吗？我以为你想要一起工作？以上给出了集群中当前正在运行的所有作业及其所有信息。你能提供一个你想要的例子吗？ –

我想管理我的执行作业，例如，在当前完成之前不执行另一个事件，所以我想检查作业状态。您提到的API返回的是'Running Driver'中的作业，但我也想知道该作业是否完成。如果当请求http：// spark-master：8081/json /作业移动到'完成的驱动程序'时，我无法获取有关它的信息。我想在第一阶段获得所有提交ID的状态，最好的方法是使用过滤器（但让我们开始简单） – user601929

如何通过Spark Hidden Rest获取所有工作状态API

回答

相关问题