fluentd

0热度

1回答

我有一个码头集装箱，我将码头集装箱的日志发送到FluentD。现在，我使用FluentD日志记录驱动程序，但我有疑问。在文档中（链接：https://docs.docker.com/engine/admin/logging/overview/#/etw-logging-driver-options）它表示，FluentD缓冲区限制的最大大小为8MB，但是，我想知道它的功能如何？将来自Docker

0热度

1回答

使用fluentd进行Java日志记录导出

我们正在使用google-fluentd将Jetty服务器日志传输到stackdriver。我遇到的问题是，fluentd将日志中的每一行视为单独的日志条目。这对日后的日志分析来说是有问题的。我试过几个format multiline模式，但它们不是很可靠，有很多边缘情况需要处理（异常堆栈跟踪等）。我认为最好在同一个日志条目中用“\ n”替换所有换行符，这可以解决问题。我可以随时替换“\ n”以

1热度

3回答

什么是ES索引的最大字段数

您是否知道弹性索引的最大可能字段数？在我的情况我有超过200从fluentd配置 format csv keys Time,ID,Name,ip,val_1,val_2........,...,.,.,.,.,.,.,.,.,.,.,val_200 但在弹性索引我有域（）才可见。字段数量是否有限制？也使用动态映射。 "mappings" : { "_default_" : {

1热度

1回答

AWS上的Kubernetes与kube-up.sh无日志

我使用kube-up.sh（v1.3.4）和AWS作为提供程序来设置集群。一切都很好，我唯一的问题是我没有看到我的日志（在Kibana和Elsaticsearch中）。如果我泊坞窗附上这里的fluentd-elasticsearch容器内是我有：在/var/logs/containers我看到一个符号链接到我的节点上运行的每个豆荚一个日志文件，例如： elasticsearch-logging-

0热度

1回答

意外错误error_class = errno的:: EADDRINUSE错误=＃<errno的:: EADDRINUSE：地址已在使用 - 绑定（2）为 “0.0.0.0” 端口24224

当我开始fluentd-UI，我得到了错误 10:23:38 +0000 [info]: listening fluent socket on 0.0.0.0:24224 2016-09-13 10:23:38 +0000 [error]: unexpected error error_class=Errno::EADDRINUSE error=#<Errno::EADDRINUSE: Addr

1热度

1回答

如何添加标签我fluentd事件

我在fluent.conf文件，并匹配到stdout写 <source> @type tail format nginx path /home/work/opt/nginx/var/log/access.log tag nginx.access </source> ，但是当我做一个电话后到我的网站，nginx的日志访问到它的日志，但fluentd_ui

0热度

1回答

fluentd转换字段为整数

我需要你的帮助。我有fluentd配置为尾部模式将我的日志发送到elasticsearch群集。我使用的是regex来解析每个日志行，但对于一些字段，我需要将metricValue转换为integer。我尝试了一些东西，但没有工作。这里是我的fluentd的conf文件： <source> @type tail path /tmp/application.log

0热度

1回答

如何在使用Google Cloud PubSub和Fluentd订阅者时使消息具有幂等性？

我正在尝试使用Google Cloud PubSub和Fluentd订户进行日志数据流。该体系结构是，首先，一组Web服务器将其访问日志发送到同一PubSub端点，其次，Fluentd服务器从PubSub端点提取日志并将它们发送到Google BigQuery和其他子系统。我的问题是如何在这样的体系结构中保持消息幂等。根据Google Cloud Pubsub的文档，订户应负责保持日志幂等性

0热度

1回答

Fluentd不写日志到亚马逊s3

我想测试fluentd-s3插件，但此刻它不会将我的日志发布到s3存储桶中。我在ubuntu xenial上运行所有的东西，用td-agent安装了fluentd。以下是位于/var/log/td-agent/td-agent.log 2016-09-23 09:16:18 -0300 [info]: reading config file path="/etc/td-agent/td-age

0热度

1回答

从fluentd添加弹性搜索的原始字段

我已经建立了一个集中式日志记录系统，其中我的应用程序节点安装了FluentD，并加载了日志文件。应用程序节点上的FluetndD将处理的日志转发到收集器节点上的FluentD。此收集器节点上的FluentD然后转发到各种输出，其中一个是ElasticSearch群集。然后我运行Kibana从ES读取。（我相信相当普遍的设置。）当试图在某些数据字段中显示Kibana中的某些数据时，Kibana没