apache-flink

0热度

1回答

有没有人有一个ProcessFunction的好例子，它以某种频率对数据进行求和或聚合

我正在寻找模拟window（）。reduce（）操作的行为，但在任务管理器级别没有键。有点像.windowAll（）。reduce（）对于一个流，但我期待从每个任务管理器获取单独的结果。我试着搜索“flink processFunction examples”，但没有找到任何有用的东西来看。

1热度

1回答

Flink失败作业通知

Flink有没有机制在作业失败时发送警报/通知？我想也许如果应用工作会意识到它正在被重新启动，客户端代码可以发送通知给一些水槽的重启策略，但找不到任何相关的工作背景信息

0热度

1回答

实现一堆阿帕奇弗林克并行应用到同一源流的变换和组合结果

能否请你帮我 - 我试图使用Apache Flink与外部合奏/树库像XGBoost机器学习的任务，所以我的工作流程是这样的：接收数据的单个流，其原子事件看起来像一个简单的向量event=(X1, X2, X3...Xn)并且它可以被想象为POJO字段所以最初我们有DataStream<event> source=... 很多特征提取码应用于同一事件源： feature1 = source.ma

0热度

1回答

控制Apache的卡夫卡和弗林克通过SCALA（而不是命令行）

使用卡夫卡/弗林克命令行 - 在Scala代码“命令” 目前，当我将作业提交到弗林克，其通过命令行。与创建和删除Kafka主题相同。是否有Scala - 用于控制命令行接口命令执行的API。因此，根据应用程序中的条件，我可以提交作业以链接并从代码创建/删除kafka。命令我想在Scala代码 Starting Flink Server bin/start-local.sh Sto

0热度

3回答

当与kafka连接器运行flink时出现NoClassDefFoundError

我正尝试使用flink从kafka流式传输数据。我的代码在编译时没有错误，但运行出现以下错误： Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apach

0热度

1回答

阿帕奇弗林克：做正确的MapReduce内（）

我已经与下列mapPartition功能的程序异步Web服务调用： public void mapPartition(Iterable<Tuple> values, Collector<Tuple2<Integer, String>> out) 我收集的100从输入values &分批送他们到一个web服务进行转换。结果我加回到out集合。为了加快这个过程，我通过使用Executors做了网

1热度

1回答

通过Flink REST API在AWS EMR上运行Flink作业

Apache Flink提供REST API以提交其作业。我试图从本地机器调用该REST API，但获得java.net.UnknownHostException。到目前为止，我成功通过SSH运行我的作业，但需要通过REST API运行作业，以便我可以直接从我的应用程序/代码运行作业。

0热度

1回答

Flink FileProcessingMode令人费解

我不明白StreamExecutionEnvironment.readFile方法。 FileProcessingMode有2个选项：PROCESS_ONCE和PROCESS_CONTINUOUSLY。如果我们选择前者，它只处理一次文件，并在execute（）后退出。如果我们选择后者，即使我们只是在文件中添加一些行，它会再次处理整个文件（添加所有文件，例如，在最后一次处理之前的每个单词的计数）。我

0热度

1回答

Flink Streaming示例：Kafka010Example.scala不起作用

我试图运行官方的“Kafka010Example.scala”，但unortunatelly它不会从输入主题读取并按预期方式写入输出。我错过了什么或做错了什么？任何帮助或暗示大加赞赏。这也正是我所做的：在泊坞窗容器（Spotify的/卡夫卡：最新）开始卡夫卡 $ docker run -d -p 2181:2181 -p 9092:9092 spotify/kafka:latest 开始的容器内

0热度

1回答

在intellij中编译flink失败

我试图在windows中编译flink和intellij的想法，并且在这里遵循了所有的指令“https://ci.apache.org/projects/flink/flink-docs-release-1.4/internals/ide_setup.html”。但是，建设项目时，我遇到这个错误： java: package org.apache.flink.runtime.testingUtil