DAG和事件时间轴的Spark自定义监控

Question

我想在我的流应用程序中为Apache Spark UI显示的DAG和事件时间表拥有自己的监控。

有没有办法让这些指标或任何监听者获取这些信息？

我的动机是显示使用度量标准批量流过数据的实时进度。我已经探索了StreamingListener及其实现。

Answer 1

我认为你可以在这里找到它的文档：

http://spark.apache.org/docs/latest/monitoring.html#rest-api

我与REST API没有经验研究。但是看起来你可以用它编写你自己的监控工具。