logstash

2热度

2回答

我已经熟练地运行elasticsearch并且我使用rsyslog（基本上是转发所有日志）从几台Unix机器转发日志。它工作的很好，除非我没有任何数据控制。我想要的是能够标记某些值。现在，一切都在@消息。假设我有来自apache的日志来到fluentd。我想使用Kibana来查看流量（每ip，每种类型的文件，响应等）。我不知道这是否可以直接在Kibana中完成，或者它必须在fluentd中解析

4热度

1回答

elasticsearch平均查询和获取时间

我如何计算我的elasticsearch服务器上的平均查询和获取时间。 http://mysearver.com:9200/_stats给了我query_time和fetch_time。但是这个值在每次搜索时都会增加。我需要avg查询时间和查询时间并将其绘制在图上。我试过query_time/query_total，这个值也增加了每个查询，然后停留在查询停止后。这是我到目前为止已经试过 url

0热度

1回答

在此体系结构中是否需要Logstsh托运人实例和redis？

我创建了一个使用Logstash，redis，弹性搜索和kibana的演示环境。（http://indico.cern.ch/getFile ..... 这里logstash托运人从我所使用syslog-ng的。Loogstash托运人集中的日志文件中读取日志被转发它的Redis然后Logstash索引器（过滤器），最后到Elasticsearch。现在我想跳过logstash托运人和redi

8热度

2回答

删除日志行哈希字符

在我Logstash托运人我想筛选出线条注释以符号： #This log row should be dropped. But one this should not. 我能使用grep过滤器，但因为它是不鼓励（将要退役），我试图让grok过滤器来代替它。此过滤器不工作： grok { match => ["message", "^#.*"] drop_if_match

4热度

1回答

如何在Kibana中随时间变化绘制字段的不同值 - ClassCast异常

我正在尝试使用logstash读取日志文件。我使用grok将邮件中的一个数字解析为数字并将其作为字段存储。但是据我所知，我只得到Kibana来描绘消息随着时间的流逝而发生的次数。我没有任何运气使用Kibana来绘制消息发生的次数。我的消息的实施例： 1) "JvmStatsLoggerService - gc count: 58" 2) "JvmStatsLoggerService - g

4热度

1回答

如何在多行中定义多个模式

我希望我的logstash过滤器配置显示Soap消息和异常堆栈跟踪。我能够让他们单独工作，但不能在一起工作。任何人都可以让我知道，如果这是可行的或我在做下面的代码中的任何错误？ filter { ## 1. To show stacktrace multiline { type => "myLog" pattern => "(^.+Exception

5热度

1回答

为logstash中的新字段设置Elasticsearch分析器

通过使用GROK filter，我们可以向Logstash添加新字段。但是，在这里，我想知道如何设置该特定领域的分析仪。对于例如：，我有一个新的ID字段，它有一个像a_b这样的字段，但Elasticsearch发运的正常分析器会将其分解为a和b。正因为如此，我无法有效地在特定字段上应用术语功能并使其有用。在这里为ID字段，我想应用我自己的自定义分析器，它不标记值，但应用小写过滤器。这是如何

2热度

1回答

解析python中的json

我在解析下面的json文件时遇到了问题。我想解析这个使用logstash/python。 { "took" : 153, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "failed" : 0 }, "hits" : { "

1热度

1回答

groking在logstash嵌套信息

我的日志事件是这样的： WARN 12 Dec 00:11:12 slow:[Task[Task-Name 20 ms],Task[Task-Name 30 ms]], time = 1234 这意味着它可以被嵌套有些慢任务记录。是否有机会通过Grok过滤器创建任意数量的字段（=记录每个事件时不同的任务数量）？或者我应该写我自己的过滤器，至少我如何访问这些字段？

1热度

3回答

Kibana，适用于大数据环境的Logstash

我们可以使用Logstash和Kibana进行大数据分析吗？我将使用Hadoop来存储我的数据。在尝试任何事情之前，我想知道是否有人已经尝试过。