flink-streaming

0热度

1回答

我有两个流是Int和其他是json。在json Schema中有一个键是一些int。所以我需要通过与其他整数流的键比较来过滤json流，所以可能在弗林克？

1热度

1回答

私人的数据流中buySideVolumeWMA（数据流buyPressureTradeStream）{ Integer windowSize = 3; Integer windowslide = 1; DataStream<Double> buySideVolumeWMAStream = buyPressureTradeStream.countWindowAll(window

2热度

1回答

与窗口AND状态的闪烁聚合

我正在寻找一种方法来实现窗口上的聚合/折叠功能也有一个状态。我明白如何在窗口上进行聚合，以及如何使用键/全局状态 - 但不能同时使用。只是要清楚，当我说一个窗口与状态 - 我的意思是状态应该初始化（无效）每次窗口更改/移动。例如：我想按事件类型每5分钟键入一次事件数。但除了事件类型（这是窗口键）之外，事件还有一些id字段 - 我只想对每个id进行一次计数 - 所以我需要保存已经计算在该窗口中

2热度

2回答

使用S3AFileSystem的Flink不会读取S3中的子文件夹

我们使用Flink 1.2.0和建议的S3AFileSystem配置。当源代码是S3存储桶中的单个文件夹时，一个简单的流式作业可以按预期工作。作业运行时没有错误 - 但是不是产生输出 - 当它的源文件夹本身包含子文件夹时。为了清楚起见，以下是S3存储桶的一个模型。运行作业以指向s3a://bucket/folder/2017/04/25/01/可以正确读取存储桶中出现的所有三个对象和任何后续对

3热度

1回答

实时使用阶

弗林克版本弗林克流预测：1.2.0 斯卡拉版本：2.11.8 我想用数据流中弗林克使用模型使用Scala的预测。我有一个使用scala的flink中的DataStream [String]，它包含来自kafka source的json格式的数据。我想用这个数据流来预测已经训练过的Flink-ml模型。问题是所有的flink-ml示例都使用DataSet API来预测。我对flink和scal

0热度

1回答

Can Flink可以通过java代码将多个作业附加到Web Ui的本地环境中？

Can Flink可以通过java代码将多个作业附加到Web Ui的本地环境中？我的代码是这样的 env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(config); env.addSource(...); env.addSink(...); env.execute("stream job1"); 我想要做的

1热度

1回答

Flink Streaming：比较来自不同窗口的事件

首先，我是流处理框架的新手。我想对其中的一些进行测试，所以我已经开始使用Flink。对于我的用例，我需要比较来自窗口t的事件和来自窗口t-1的事件，两者的大小均为15分钟，然后执行一些聚合。这是我用例的简化版本：我们认为，分析事件为形式的元组。（A，1），（B，2），（C，3），在窗口2中我们有：（D，6）和（B，7）。然后，我需要比较来自当前窗口的事件与前一窗口的事件，并且保持那些验证

1热度

1回答

Flink - 如何同时计算总和和平均值？

Flink（batch/streaming）中有一种方法可以同时计算字段的平均值和总和吗？使用聚合方法，我可以计算groupBy结果中字段的总和，但是如何同时计算平均值？下面的示例代码。 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); DataSet<Tuple3<String,Integer,

0热度

1回答

如何使用kafka制作者只读取文件中的新更改

我目前使用的是windows机器，并且能够通过命令提示符使用Kafka制作者和使用者读取整个文件。我只需要获取文件中的最近更改，并需要将其用作Apache flink的输入。我尝试使用this link，但由于kafka客户端jar不匹配问题，我无法使用它。在我当前的方法中，当我每次加载整个文件时调用生产者，我们需要每次运行它以查看文件发生的更改。我想过使用线程和使用java代码比较文件差异的一

0热度

1回答

的时间戳弗林克窗口

我有一个像 Eventname, Event id, Start_time (Time Stamp)数据流.. 在这里我想在最后一个字段Start_time这是时间标记的申请窗口转型，我的要求是像我想利用最近30分钟的数据。所以我在弗林克窗口中看到的东西这个.timeWindow(Time.minutes(30))所以我想它采取的最后30分钟的事件，但不尊重start_time 我想利用其中ST