apache-flink

0热度

1回答

我想在基于历史事件的流中计算Flink中基于窗口的平均值（或由我定义的任何其他函数），因此流必须是事件时间（不处理基于时间）： val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteri

1热度

1回答

Flink时间窗和幻灯片时间窗有何不同？

我正在调查Apache Flink如何工作并试图了解Flink中的时间窗口。

1热度

1回答

Flink + Kafka 0.10：如何使用Kafka消息时间戳创建表作为字段？

我想提取由FlinkKafkaConsumer010生成的消息的时间戳作为数据流中的值。我知道AssignerWithPeriodicWatermarks类，但这似乎只是通过DataStream API为时间聚合的目的提取时间戳。我想在后面的Table中提供该卡夫卡消息时间戳，我可以在其上使用SQL。编辑：尝试这样： val consumer = new FlinkKafkaConsumer

0热度

1回答

是否可以在Windows上使用pyflink？

有没有人曾经成功地运行python和windows使用flink？我想下面的命令： .\bin\pyflink.bat examples\python\WordCount.py ，并收到以下错误 Starting execution of program Usage: ./bin/pyflink<2/3>.[sh/bat] <pathToScript>[ <pathToPackage1>[ <

0热度

2回答

无法执行是由ClassNotFoundException的

引起弗林克仪表盘版本1.3.2 CEP模式我已经写了这样 Pattern<JoinedEvent, ?> pattern = Pattern.<JoinedEvent>begin("start") .where(new SimpleCondition<JoinedEvent>() { @Override public boolean filter(JoinedEv

0热度

1回答

Apache Flink的TypeInformation 1.3.2 BatchTableEnvironment的翻译方法

我在Apache Flink 1.3.2中尝试了几个flink translate（）函数：一个来自BatchTableEnvironment，另一个来自StreamTableEnvironment。该方案给了我错误，我迷路了。下面的程序在运行时抛出异常（不知道它需要什么TypeInformation）。它只是使用应该与结果所需相匹配的类型信息。但它不起作用，有帮助吗？我想我提供所有的细节....

0热度

1回答

Flink应用函数onWindowsWindow

我正在做一个Flink项目。该项目的主要思想是读取JSON（网络日志）的数据流，将它们关联起来，并生成一个新的JSON，它是不同JSON信息的组合。此时，我可以读取JSON，生成一个KeyedStream（基于生成日志的机器），然后生成一个5秒的窗口流。我想要执行的下一步是将apply函数应用到窗口并合并每个JSON的信息。我对如何去做有点困惑。我现在有该代码是以下各项之一： DataStr

2热度

1回答

Flink流窗口内存使用

我正在评估Flink专门为流式窗口支持生成可能的警报。我关心的是内存使用情况，所以如果有人可以帮助，这将不胜感激。例如，该应用程序将在给定的翻滚窗口（比如说5分钟）内从该流潜在地消耗大量的数据。在评估的时候，如果说有一百万份符合条件的文档，它们是否都会被加载到内存中？的一般流程是： producer -> kafka -> flinkkafkaconsumer -> table.window(

2热度

2回答

从Flink 1.3.2升级到1.4.0 hadoop文件系统和路径问题

我最近尝试从Flink 1.3.2升级到1.4.0，我遇到了一些问题，无法再导入org.apache.hadoop.fs.{FileSystem, Path}。问题是发生在两个地方： ParquetWriter： import org.apache.avro.Schema import org.apache.avro.generic.GenericRecord import org.apach

0热度

1回答

apache flink可以用来加入巨大的非实时数据吗？

Guy我应该通过一些公用密钥（我们正在谈论多个REST服务调用的多个sql表）与一些REST服务的json加入一些巨大的SQL表。事情是这个数据不是实时/无限流，也不认为我可以通过连接列来排序REST服务的输出。现在，愚蠢的做法是将所有数据和行匹配起来，但这意味着将所有内容都存储在内存/卡桑德拉或Redis等存储中。但是，我想知道flink是否可以使用流窗口的某个王加入说X元素（所以真的只是在RA