0
管道的数据输入来自数据库或Web记录器。管道处理它并放入HDFS并将数据移动到NoSQL数据库。监测系统将监测这个端到端。如何在Hadoop集群中设置数据管道监控系统？
A
回答
0
您可以考虑使用ELK堆栈（ElasticSearch，Logstash，Kibana）。在每个节点上，接收，处理并插入到数据库中，请查看您是否可以添加关于您要处理的每个文件/记录的日志。
您可以在每个节点上部署logstash并为其编写解析逻辑，将它们写入ElasticSearch并使用Kibana可视化这些逻辑。
您还可以考虑使用Elastic.co的Watcher插件在出现错误时生成警报。
以下是一些可供您开始使用的链接。
相关问题
- 1. 设置hadoop集群
- 2. 在混合操作系统上设置Hadoop集群
- 3. Nagios监控hadoop集群的脚本
- 4. Ganglia监控Hadoop多节点群集
- 5. 如何设置hadoop集群优先级？
- 6. Hadoop多主集群设置
- 7. 设置（Windows）Hadoop集群
- 8. 在集群中监控mongoDB
- 9. 设置Shinken系统监控WebUI部分
- 10. 在同一个系统管理员管理的大数据集群（Hadoop，Spark等）中是否有副本？
- 11. 如何管理的Hadoop集群
- 12. 电子邮件管道系统设置
- 13. 监控cassandra集群
- 14. Cassandra集群监控
- 15. 如何创建具有不同操作系统的Hadoop集群？
- 16. 可插拔的集群管理系统
- 17. 在hadoop集群上监控有节点的磁盘I/O
- 18. Hadoop单节点集群设置问题
- 19. 自动设置多节点Hadoop集群
- 20. 设置3节点hadoop群集
- 21. Hadoop的多节点集群设置
- 22. 在长时间运行的EMR集群上设置AWS数据管道
- 23. 下拉在监控系统预置
- 24. 管道系统（）？
- 25. 如何管理配置以连接到多个Hadoop集群？
- 26. hadoop集群中的数据复制
- 27. 在hadoop集群之间传输数据
- 28. 如何使用Solr在hadoop集群中搜索数据库
- 29. Hadoop的处理时间在集群和独立系统
- 30. 在ubuntu 14.04 hadoop 2.6中运行hadoop程序单节点集群设置hadoop 2.6