flink-cep

0热度

1回答

我想打印出一个字符串，如果你好和世界都使用Flink CEP库找到。我的来源是Kafka并使用控制台生产者输入数据。这部分工作。我可以打印出我在主题中输入的内容。但是，它不会打印出我最终的信息“世界真好！”。它甚至不会打印出它输入的lambda。以下是该类 package kafka; import org.apache.flink.cep.CEP; import org.apache.fl

0热度

1回答

＃Apache-flink：用于数据管理的用例

我正在尝试构建数据管理（DM）解决方案，其中涉及大量数据提取，通过一些数据域规则，替换（扩充），在发送之前标记错误数据到下游系统。检查值替换的规则可以像数据元素应该满足的可允许的阈值数值一样简单，更复杂一些，例如使用用于值域值池的主数据查找。您认为Apache Flink可以成为此类处理的良好选择吗？是否可以定义flink运算符来查找（使用主数据）每个元组流经它的数据？我认为在后一个问题上使用A

2热度

1回答

Flink窗口和状态维护

我正在处理数据流的apache flink，我有几个问题。任何帮助是极大的赞赏。谢谢。 1）创建翻滚窗口是否有任何限制。例如，如果我想为每个用户ID创建一个滚动窗口2秒，并且假设我有超过1000万个用户ID，那会是一个问题。（我使用keyBy用户ID，然后创建timeWindow 2秒）？这些窗口如何在flink内部维护？ 2）我看着重新平衡循环分区。假设我设置了一个集群，并且如果我的源并行度为

1热度

2回答

Yarn上的Flink：Amazon S3错误地使用而不是HDFS

我跟着Flink on YARN's setup documentation。但是，当我与./bin/yarn-session.sh -n 2 -jm 1024 -tm 2048运行，而被认证到Kerberos的，我得到以下错误： 2016-06-16 17:46:47,760 WARN org.apache.hadoop.util.NativeCodeLoader - Unable t

4热度

1回答

Flink：如何处理flink中的外部应用程序配置更改

我的要求是在一天内流传数百万条记录，并且它对外部配置参数具有巨大的依赖性。例如，用户可以随时在Web应用程序中更改所需的设置，并且在更改完成之后，流必须随新应用程序配置参数一起发生。这些是应用程序级别的配置，我们也有一些动态排除参数，每个数据必须通过并过滤。我看到flink没有在所有任务管理器和子任务之间共享的全局状态。有一个集中的缓存是一个选项，但对于每个参数，我都必须从缓存中读取它，这会增加

2热度

1回答

在Flink中动态创建新的数据流

我试图根据数据库中的某些可用规则从一个原始数据流中创建新的数据流。一旦我开始Flink作业，并且在一些之后，如果我需要根据数据库中更新的条目创建新的数据流，我该如何实现这一点。所以在这里，我不想重新启动Flink作业，而是在运行时动态创建新的数据流并将其添加到执行DAG。

4热度

1回答

弗林克表API无法数据集转换的数据流中

我使用Java，我想数据集转换的数据流中使用弗林克表API ....以下是我的代码： TableEnvironment tableEnvironment=new TableEnvironment(); Table tab1=table.where("related_value < 2014").select("related_value,ref_id"); DataSet<MyClass>ds

1热度

1回答

Ho我可以和Flink CEP做一个懒惰的匹配吗

我想用FlinkCEP只在模式上做一个'懒惰'匹配。我怎样才能做到这一点？例如我有一个输入流ACABCABCB，我想匹配A后面的C得到只有3场比赛，而不是6场比赛。我创建了以下示例来说明我的问题。 val env = StreamExecutionEnvironment.createLocalEnvironment(1) env.setStreamTimeCharacteristic(Tim

1热度

2回答

如何为在同一个独立集群上运行的不同flink作业指定不同的log4j.properties文件

我在独立集群上运行多个flink作业。我想为不同的链接作业提供不同的日志文件。那么如何在提交flink作业时传递不同的log4j.properties文件。

1热度

1回答

CEP示例的简单Scala API不显示任何输出

我正在编写一个简单的示例，用于在Flink中使用最新的Github版本1.1-SNAPSHOT测试新的Scala API for CEP。该模式只是一个值的检查，并为匹配的每个模式输出一个字符串作为结果。代码如下： val pattern : Pattern[(String, Long, Int), _] = Pattern.begin("start").where(_._3 < 4) va