flink-streaming

1热度

1回答

推拉窗我用这个代码来执行我的测试（Flink Quick Start）： val text = env.socketTextStream("localhost", port, '\n') // parse the data, group it, window it, and aggregate the counts val windowCounts = text

0热度

1回答

Flink保存点被拒绝

我试图在我已经实现了定制的可并行套接字源的作业上使用保存点。源类似于这样 @Override public void run(SourceContext<String> sourceContext) throws Exception { int idx = getRuntimeContext().getIndexOfThisSubtask(); String[] hosts

3热度

1回答

Flink：窗口不处理数据流末尾

我有一个流（kafka消息正在流入主题）与flink卡夫卡消费者，我注意到一个有趣的行为，我正在寻找解决。当数据正在流入时，如果它在窗口“完成”之前停止，或者数据结束（在几个窗口之后）并且没有到达窗口的末尾，则流水线的其余部分会不触发。实施例流程： env.addSource(kafkaConsumer) .flatMap(new TokenMapper()) .keyB

0热度

1回答

如果点检查失败，Flink管道是否会失败？

据我所知，检查点失败应该被忽略，并重试可能更大的状态。我有这种情况 HDFS进入安全模式b'coz的名称节点发出异常被抛出 org.apache.hadoop.ipc.RemoteException（org.apache.hadoop。 ipc.StandbyException）：操作类别WRITE在状态备用中不受支持。访问https://s.apache.org/sbnn-error ....

0热度

1回答

实现一堆阿帕奇弗林克并行应用到同一源流的变换和组合结果

能否请你帮我 - 我试图使用Apache Flink与外部合奏/树库像XGBoost机器学习的任务，所以我的工作流程是这样的：接收数据的单个流，其原子事件看起来像一个简单的向量event=(X1, X2, X3...Xn)并且它可以被想象为POJO字段所以最初我们有DataStream<event> source=... 很多特征提取码应用于同一事件源： feature1 = source.ma

0热度

1回答

控制Apache的卡夫卡和弗林克通过SCALA（而不是命令行）

使用卡夫卡/弗林克命令行 - 在Scala代码“命令” 目前，当我将作业提交到弗林克，其通过命令行。与创建和删除Kafka主题相同。是否有Scala - 用于控制命令行接口命令执行的API。因此，根据应用程序中的条件，我可以提交作业以链接并从代码创建/删除kafka。命令我想在Scala代码 Starting Flink Server bin/start-local.sh Sto

0热度

3回答

当与kafka连接器运行flink时出现NoClassDefFoundError

我正尝试使用flink从kafka流式传输数据。我的代码在编译时没有错误，但运行出现以下错误： Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apach

0热度

1回答

Flink Streaming示例：Kafka010Example.scala不起作用

我试图运行官方的“Kafka010Example.scala”，但unortunatelly它不会从输入主题读取并按预期方式写入输出。我错过了什么或做错了什么？任何帮助或暗示大加赞赏。这也正是我所做的：在泊坞窗容器（Spotify的/卡夫卡：最新）开始卡夫卡 $ docker run -d -p 2181:2181 -p 9092:9092 spotify/kafka:latest 开始的容器内

0热度

1回答

如何在Flink中总结多个字段？

我想获得多个字段的总和。我用这个代码来解释我的痛苦： // parse the data, group it, window it, and aggregate the counts val windowCounts = text .flatMap { w => w.split("\\s") } .map { w => WordWithCount(w, 1, 2) }

0热度

1回答

Apache Flink动态添加新流

Apache Flink有可能在运行时动态添加新数据流而不重新启动作业吗？据我了解，通常弗林克程序是这样的： val env = StreamExecutionEnvironment.getExecutionEnvironment() val text = env.socketTextStream(hostname, port, "\n") val windowCounts = text.m