使用spring-xd查找

Question

我正在寻找使用spring-xd执行查找操作的方法。

我的问题陈述是这样的，

我进来的JSON事件流，我想有事件的值查到的在HDFS或直接从RDBMS在我的文件针对的阈值。

请建议一种方法来执行此操作。

感谢您提前。

Answer 1

如果我理解正确，那么对于消息中的不同值，您有不同的阈值。

喜欢的东西

值 'A' - > 100

值 'B' - > 200

...

该信息被存储在文件中或在关系数据库。现在您要根据它们的值和相应的阈值过滤事件。

我想你将不得不编写一个自定义的处理器来保存这些值存储在数据库的连接，并查询它们。如果映射足够小，您应该考虑兑现它，或者至少缓存最常用的值，这样不会减慢流。

Answer 2

如果我理解你的问题，你可以编写一个groovy处理器来接收有效载荷，过滤它，然后将它传递到你想要的任何地方，像hdfs。

stream --name --def "jdbc | groovyprocessor | hdfs" --deploy 

在批次的情况下，您将需要编写自定义模块。

莫哈