通过Hadoop实现Elasticsearch和Splunk连接

我目前正在试验一家在elasticsearch中有其日志数据的公司。（他们目前使用整个ELK堆栈）。通过Hadoop实现Elasticsearch和Splunk连接

Splunk有一个名为Hunk的插件，可以让您从Splunk的界面查询HDFS/Hadoop数据。我已经能够得到这个工作。

我的问题是，有没有办法使用es-hadoop以某种方式将两者“桥接”在一起？当Hunk查询我的hdfs时，它也将最终拉入Elasticsearch数据？

（他们公司想看看它的使用Splunk的无需复制数据是可行的）

谢谢。

来源

2016-07-31 CeePlusPlus

你看过logstash吗？虽然，为什么要使用Splunk？ –

他们使用整个ELK堆栈，我会澄清一点。他们想要试用Splunk，但不需要复制数据。 – CeePlusPlus

Gotcha。不幸的是，我相信Hunk严格搜索HDFS数据。 ES和Hadoop之间的连接器只是从HDFS到ES的一种方式 –

Splunk于2016年不推荐HUNK，并发布了Hadoop Connect。现在您可以读取，写入，浏览和从HDFS导出。与读取，写入或探索HDFS集群相关的任何Splunk许可证费用均不受此限制。因此，您可以使用HDFS中的数据创建统计解决方案，而不会产生费用。 Splunk的赌注是，你需要将汇总的数据和精炼的数据集放入Splunk中，以便让企业受众更容易获得。 https://www.splunk.com/blog/2012/12/20/connecting-splunk-and-hadoop/

来源

2017-04-06 18:36:26

通过Hadoop实现Elasticsearch和Splunk连接

回答

相关问题