flume

0热度

1回答

我正在使用Fluo在hadoop中获取twitter数据。它工作良好的连接建立，注册但最后它一直给出无效URI或用户消息不存在..任何人都可以帮助我这个。预先感谢您。我正在使用以下conf。 TwitterAgent.sources= Twitter TwitterAgent.channels= MemChannel TwitterAgent.sinks=HDFS TwitterAgen

1热度

1回答

流到mysql的流水线

我一直在尝试使用APACHE KAFKA和FLUME将数据流到MySQL数据库。（这是我的水槽的配置文件） agent.sources=kafkaSrc agent.channels=channel1 agent.sinks=jdbcSink agent.channels.channel1.type=org.apache.flume.channel.kafka.KafkaChannel

0热度

1回答

Flume Hive接收器无法序列化JSON与阵列

我正尝试通过Hive接收器将JSON数据加载到Hive。但它失败，出现以下错误： WARN org.apache.hive.hcatalog.data.JsonSerDe: Error [java.io.IOException: Field name expected] parsing json text [{"id": "12345", "url": "https://mysite", "ti

0热度

1回答

水槽：java.io.IOException异常：不是数据文件

这一夜，我们有一个磁盘空间满的问题，今天我收到此错误在我的水槽日志： 22 Feb 2017 10:24:56,180 ERROR [pool-6-thread-1] (org.apache.flume.client.avro.ReliableSpoolingFileEventReader.openFile:504) - Exception opening file: /.../flume_spo

0热度

1回答

源数据到水槽

我试图设置一个水槽剂源数据从系统日志服务器。基本上，我在服务器（server1）上建立了一个系统日志服务器来接收系统日志事件，然后将所有消息转发到安装了flume代理的不同服务器（server2），最后所有数据都将汇聚到kafka集群。水槽配置如下。 # For each one of the sources, the type is defined agent.sources.syslogS

0热度

1回答

如何确定Flume中汇的批量大小？

我正在设置Flume Agent的属性，我不确定我应该为batchSize使用什么值（批量发送的事件数量）。在我的特殊情况下，我将使用控制台作为接收器。据我了解，记录器 - 接收器是在这种情况下使用的类型。但是Flume文档没有提到这种接收器的batchSize参数。是不是有必要为记录器定义batchSize？

0热度

1回答

如何在Flume 1.7中编写自定义ES接收器

在Flume代理中，我收集来自Kafka主题的元素，并且需要将它们插入到ES中。不过，我需要在接收器中执行以前的消解过程，所以我需要编写一个定制接收器将代理通道中的数据传递给java消解模块（我已经写过）。任何人都可以与我分享一个自定义接收器的模板，并可以用作参考？ Flumes官方网站并没有多说这个话题：启动Flume代理时，自定义接收器的类及其依赖关系必须包含在代理的类路径中。自定义接收器

0热度

1回答

Flume无法在HDFS上将Json文件写入Json文件

我正在使用FLUME获取Twitter源并将它们作为json文件写入HDFS。水槽能够获取Twitter的饲料，且对HDFS的Json文件，但代替含推特馈送数据，它包含异常消息： - { “的RemoteException”：{ “异常”： “UndeclaredThrowableException中”，” javaClassName “：” java.lang.reflect.Undeclar

1热度

1回答

为什么我的Flume代理不启动？

我试图设置一个基本的Kafka-Flume-HDFS管道。卡夫卡是启动和运行，但是当我通过 bin/flume-ng agent -n flume1 -c conf -f conf/flume-conf.properties -D flume.root.logger=INFO,console 好像代理开始水槽剂不上来作为唯一的控制台日志我得到的是： Info: Sourcing enviro

1热度

1回答

Flume自定义拦截器不工作

我想通过其掩码IP更改数据中的IP地址。这是在我的Flume代理的“备份”部分完成的（见下文）。在此配置有2个通道：所述第一信道的数据转储到HBase的，而第二个用于备份： a1.sources = r1 r2 a1.channels = channel1 Backup_channel a1.sinks = FSink a1.sources.r1.handler = com.flume.