如何在槽中一起使用regex_extractor选择器和多路复用拦截器？

Question

我正在测试flume将数据加载到hHase中，并考虑使用flume的选择器和inteceptor进行并行数据加载，因为源和汇之间的速度差距。

所以，我想与水槽做的

1. 创建活动的头与拦截器的regex_extractor型

2. 与头多于两个通道多路复用器的事件

   在一个

   选择的复用型源沟道水槽。

并尝试配置如下。

 

    agent.sources = tailsrc 
    agent.channels = mem1 mem2 
    agent.sinks = std1 std2 
    agent.sources.tailsrc.type = exec 
    agent.sources.tailsrc.command = tail -F /home/flumeuser/test/in.txt 
    agent.sources.tailsrc.batchSize = 1 

    agent.sources.tailsrc.interceptors = i1 
    agent.sources.tailsrc.interceptors.i1.type = regex_extractor 
    agent.sources.tailsrc.interceptors.i1.regex = ^(\\d) 
    agent.sources.tailsrc.interceptors.i1.serializers = t1 
    agent.sources.tailsrc.interceptors.i1.serializers.t1.name = type 

    agent.sources.tailsrc.selector.type = multiplexing 
    agent.sources.tailsrc.selector.header = type 
    agent.sources.tailsrc.selector.mapping.1 = mem1 
    agent.sources.tailsrc.selector.mapping.2 = mem2 

    agent.sinks.std1.type = file_roll 
    agent.sinks.std1.channel = mem1 
    agent.sinks.std1.batchSize = 1 
    agent.sinks.std1.sink.directory = /var/log/flumeout/1 
    agent.sinks.std1.rollInterval = 0 

    agent.sinks.std2.type = file_roll 
    agent.sinks.std2.channel = mem2 
    agent.sinks.std2.batchSize = 1 
    agent.sinks.std2.sink.directory = /var/log/flumeout/2 
    agent.sinks.std2.rollInterval = 0 

    agent.channels.mem1.type = memory 
    agent.channels.mem1.capacity = 100 

    agent.channels.mem2.type = memory 
    agent.channels.mem2.capacity = 100 

但是，它不起作用！

当选择器部件被移除时，flume的日志中会有一些拦截器调试消息。 但是当选择器和拦截器在一起时，没有任何东西。

有没有错误的表达或我错过了什么？

感谢您的阅读。 :)

Answer 1

我找到了。

在水槽日志中，有如下警告信息。

 

    2013-10-10 16:34:20,514 (conf-file-poller-0) [WARN - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.validateSources(FlumeConfiguration.java:571)] Removed tailsrc due to Failed to configure component! 

所以我已经连接了以下线

 

    agent.sources.tailsrc.channels = mem1 mem2 

，然后它的工作原理!!!!