2017-01-30 52 views
0

我有一个用例,我每天在不同的时刻每天都有新文件,比如每个小时或两个小时,所以我需要在我的文件夹中查看一个目录,并添加新文件时触发一个事件,这些新文件路径发送到我的NIFI上的Web服务,任何想法如何实现这个和使用什么工具呢?观看NIFI目录中的新文件

或者,这可不是最好的方法?

回答

3

发现如果你的文件在文件系统正则使用' GETFILE'处理器在提供的'输入目录'上添加新文件时会触发事件并立即将数据无延迟地送入NIFI。

如果你的要求来安排它就像每一个小时或任何特定的时间,然后使用存在于每个处理器的配置“计划”选项卡,并使用“克龙驱动”的战略计划,并设置的cron像这样 每隔一小时*/60 * * * *?

如果您的文件是在S3存储桶,那么你必须使用“GETSQS”处理器的详细记录在下面的链接

http://crazyslate.com/apache-nifi-intergration-with-aws-s3/

https://community.hortonworks.com/content/idea/76919/how-to-integrate-aws-sqs-queue-with-nifi.html

使用SQS队列通知