flume

4热度

1回答

我正在为Cloudera的分布式日志聚合系统Flume编写一个自定义装饰器插件。我的Java代码如下： package multiplex; import java.io.IOException; import java.util.ArrayList; import java.util.List; import com.cloudera.flume.conf.Context; imp

1热度

1回答

控制由槽本身生成的日志文件的大小

Flume生成/ var/log/flume文件夹中的日志。那里的文件正在增加GB。如何限制这些日志的文件大小？

6热度

3回答

哪个是组合小HDFS块最简单的方法？

我正在使用Flume向HDFS收集日志。对于测试用例，我有小文件（〜300kB），因为日志收集过程根据实际使用进行了缩放。是否有任何简单的方法将这些小文件合并为更接近HDFS块大小（64MB）的大文件？

4热度

1回答

如何编写自定义水槽OG水槽

我们使用水槽，我需要收集一些日志消息到rabbitmq。我发现了一个从rabbitmq读取消息的源implementation，但我找不到可以将消息写入兔子的接收器。所以我正在考虑自己写一个。看看logsandra这样的示例实现让我觉得它不应该太难。但是我找不到有关如何编写自定义接收器的任何文档。我没有找到水槽罐子的maven回购，或者关于如何部署定制水槽的设置说明。任何人都可以分享他的经验

1热度

1回答

在Windows上运行Flume master

我可以在Windows上运行Cloudera Flume节点，但无法运行Flume master。这是可能的，你怎么做到这一点？

1热度

1回答

命令行水槽抛出一个错误

我想从水槽控制台收集日志，我开始用下面的命令水槽： process_which_generates_the_log | flume node_nowatch -1 -n node -c 'node : console | agentBESink("localhost", 12345)' 但它说： 10/09/22 13:59:21 INFO agent.FlumeNode: Loading s

7热度

2回答

带水槽的分布式日志记录

我有一个移动服务分布在7个服务器上，每个服务器都执行特定的任务。我想记录他们的信息，然后从他们那里获取商业智能。我将它四舍五入到了Flume。我如何使用它来收集信息？我的系统是用PHP编写的。 flume是否适用于PHP？

1热度

2回答

如何尾命名管道到水槽的Windows节点（水槽节点服务）

不知道这是一所以，超级用户或ServerFault的问题，但我刚刚安装在我的Windows机器上的FlumeNode服务，我想通过发送记录infromation到FlumeNode的命名管道。 Flume Cookbook声明我们可以将命名管道拖尾到Flume，但似乎这需要cygwin，并且我们不太可能在所有Flume节点上安装cygwin。以下是食谱的说明：控制台资源非常有用，因为我们可以直接

5热度

1回答

Flume代理 - 我可以指定像gzip或bz2一样的压缩吗？

是否可以在Flume代理上指定压缩选项，以便将数据以压缩格式传输到收集器？我知道收集器级别上有压缩选项，但它也能够从代理传输压缩数据也非常有用。谢谢！