火花传输可视化

Question

我正在使用火花流传输来传输来自kafka经纪人的数据。我正在使用火花流对数据进行转换。有人可以建议一个可视化工具，我可以使用它来显示实时图形和图表，它们将作为数据流更新吗？

Answer 1

您已经使用Websockets构建实时流图。 因此没有BI工具，但也有JS库可以在构建实时图表帮助 - http://www.pubnub.com/blog/tag/d3-js/

Answer 2

你可以存储在您的ElasticSearch结果，然后用Kibana进行可视化。

Answer 3

退房闪电：数据可视化服务器
http://lightning-viz.org/
该服务器被设计用于制造使用D3基于Web的交互式可视化。它专为大型数据集和不断更新数据流而设计。

Answer 4

除了看看spark自己的流式UI标签，我强烈推荐使用graphite sinks。 Spark流是一个长期运行的应用程序，因此出于监控目的，这可能非常方便。

立刻使用石墨仪表板，您将开始监测您的火花流应用程序。

我知道的最好的文献是here在部分监测。和[这里也是]（https://www.inovex.de/blog/247-spark-streaming-on-yarn-in-production/）

它提供了配置和其他细节。一些仪表板可以在某些或其他github链接上以json格式准备好，但我发现这两个帖子在我的生产应用程序中最有用。

我希望这将帮助您在火花流应用程序中可视化和监视您的应用程序内部。