apache-flink

0热度

1回答

Flink数据库连接

当我想用Flink sinkFunction写入或读取一些数据到MySQL时，Flink数据库连接出现问题。每次操作的数据量都很小。但同时可能会调用很多sinkFuction。我想知道是否有更好的方法来以低成本解决这个问题？

2热度

1回答

Apache Flink REST API认证

有什么方法可以限制对Apache Flink提供的REST API的访问，例如：使用基本身份验证，Api-Key等？我指的是“监视REST API”（这不仅令人困惑，而且监视也是工作控制）。

1热度

1回答

flink Windows，它们什么时候启动

我想从Apache Flink DataStream捕获事件，每个“自然”小时。也就是说，我想捕捉事件从12:00:00窗口，直到12:59:59，13:00:00，直到13点59分59秒...... 我一直在使用： datastream.keyBy(0) .timeWindow(Time.minutes(60)) 但是，我怎么知道那些每分钟开始的60分钟，并且窗口不是例如从12:30:00

0热度

1回答

Flink Markov模型实现

我想在Flink中实现Markov模型。首先我从卡夫卡读取数据。我怎样才能用flink实现trigram马尔可夫模型？

0热度

0回答

不能在泊坞窗

我我的本地机器上运行elasticsearch通过码头工人和可以正常访问它在REST API端口连接到elasticsearch在端口9300 9200 阿帕奇弗林克与elasticsearch了用于通信端口9300 我的目标是把数据从阿帕奇弗林克到elasticsearch在一个水槽，但在我的程序每次执行我得到的Java错误： Elasticsearch client is not connec

0热度

1回答

如何在Flink中总结多个字段？

我想获得多个字段的总和。我用这个代码来解释我的痛苦： // parse the data, group it, window it, and aggregate the counts val windowCounts = text .flatMap { w => w.split("\\s") } .map { w => WordWithCount(w, 1, 2) }

1热度

1回答

使用Flink窗口和折叠功能，元素缺失？

当我尝试使用窗口和折叠功能聚合元素时，元素的某些从获取聚合中错过。使用来自卡夫卡(value:0, value:1, value:2, value:3)的元素，并将它们合并为奇数和偶数值。输出为：10-13之间 {even=[0, 2, 4], odd=[1, 3]} {even=[6, 8], odd=[5, 7, 9]} {even=[14, 16, 18], odd=[15, 1

1热度

1回答

Flink keyBy摸索问题

我是Flink的新手。我有这个代码来映射，组和输入JSON的总和。这与词计数示例非常相似。我有望获得(vacant,1) (occupied,2) 但是，由于某种原因，我得到(occupied,1) (vacant,1) (occupied,2) public static void main(String[] args) throws Exception { String s =

0热度

1回答

当通过保存点提交flink作业时，它抛出java.io.FileNotFoundException：（访问被拒绝）在windows server 2012

我给了保存点文件夹的完全访问权限，然后它也得到访问被拒绝异常，但在Linux中它按预期工作。

0热度

1回答

Kafka-Flink-Stream处理：有没有办法将输入文件重新加载到流处理中使用的变量中？

我们计划使用Flink处理来自kafka主题的数据流（Logs in Json格式）。但是，对于那个处理，我们需要使用每天都在变化的输入文件，而内部的信息可以完全改变（不是格式，而是内容）。每当其中一个输入文件发生更改时，我们将不得不将这些文件重新加载到程序中并保持流处理正在进行。数据重新加载可以做同样的方式，因为它现在已经完成： DataSet<String> globalData = e