2014-03-06 32 views
0

我是flume-NG的新手。我希望我的源代码将一些独特的xml文件逐个发送到频道。通道将验证xml文件并将有效性(true或false)和xml文件发送到自定义接收器。该接收器会将有效文件和无效文件写入HDFS中的不同目录。我不确定使用哪个来源。请帮忙。使用flume-ng编写源代码和自定义接收器

回答

0

无当前者之中,满足您的使用情况。 SpoolingDirectorySource是面向行的,所以XML文件会混淆而不是一个一个。

我建议你写你的应用程序的自定义源。

+0

我是否应该在自定义源的过程方法中编写自己的逻辑?频道从来源接受什么?这是一个事件还是任何文件? –

+0

否。查看'SpoolDirectorySource'作为例子。 'SpoolDirectoryRunnable.run'非常接近你想要的。该频道接受来自源的事件。请注意,出于性能原因,您可以并应尽可能地发送批次。 – Sarge

相关问题