apache-flink

0热度

1回答

检查点时打开一个简单的CEP环形图案 private Pattern<Tuple2<Integer, SimpleBinaryEvent>, ?> alertPattern = Pattern.<Tuple2<Integer, SimpleBinaryEvent>>begin("start").where(checkStatusOn) .followedBy("middle").whe

0热度

1回答

是不是允许查询Apache Flink Table API中的POJO数据集的超类型

我想在Windows 10上使用Apache Flink 1.3.2与Java 1.8.0_144 IDE Eclipse Mars实现日志分析器。语境：有多种类型的LogMessage的。为每种类型创建POJO。为每种类型创建POJO类型的DataSet实例。然后使用表API进行查询，如下所示。这工作正常。 DataSet<String> rawLogs = env.readText

0热度

1回答

Flink保存点被拒绝

我试图在我已经实现了定制的可并行套接字源的作业上使用保存点。源类似于这样 @Override public void run(SourceContext<String> sourceContext) throws Exception { int idx = getRuntimeContext().getIndexOfThisSubtask(); String[] hosts

0热度

1回答

使用Apache Spark/Apache Flink扩展

我计划从Apache Kafka中读取数据并将其处理（可能需要耗费时间）处理后将数据保存到数据库的应用程序。我正在考虑将它插入Spark或Flink，但无法掌握这些规模：我的应用程序，当Spark/Flink的一部分，阅读一些内容时来自卡夫卡的数据，然后退出或继续阅读？那么Spark/Flink如何决定他们必须产生更多的应用程序实例来提高吞吐量？谢谢！

0热度

1回答

弗林克从HDFS

读取数据我在弗林克大一新生，我想知道的是如何从HDFS读取数据。有人可以给我一些建议或简单的例子吗？谢谢你们。

0热度

1回答

Flink历史记录服务器未显示正在运行的应用程序

我正在尝试配置flink历史记录服务器。我遵循flink文件here。我能够启动历史记录服务器，但只能看到已完成的作业，而不能看到正在运行的作业。我是否错过了一些东西，或者它只是在历史记录服务器中显示完成的作业。请帮助。乔布斯目前在集群：本地主机：8081/joboverview { "running": [ { "jid": "e4e6edb76b8870

3热度

1回答

Flink：窗口不处理数据流末尾

我有一个流（kafka消息正在流入主题）与flink卡夫卡消费者，我注意到一个有趣的行为，我正在寻找解决。当数据正在流入时，如果它在窗口“完成”之前停止，或者数据结束（在几个窗口之后）并且没有到达窗口的末尾，则流水线的其余部分会不触发。实施例流程： env.addSource(kafkaConsumer) .flatMap(new TokenMapper()) .keyB

0热度

1回答

阿帕奇弗林克：留下一个TableFunction JOIN不会返回预期的结果

弗林克版本：1.3.1 我创建了两个表，一个是从内存，另一个是从UDTF。当我测试join和left join时，他们返回了相同的结果。我期望的是左连接有更多的行而不是连接。我的测试代码是这样的： public class ExerciseUDF { public static void main(String[] args) throws Exception { te

0热度

1回答

Apache Flink shuffle的策略？它像在Hadoop中洗牌吗？

如在hadoop中，map和reduce之间有一个混洗阶段。我想知道flink是否有这样的一个阶段，以及它是如何工作的。因为我已经阅读了很多网站，他们没有提及太多。例如wordcount演示，它有一个flatmap，key和sum 。两个操作员之间总是有一个洗牌阶段吗？我能得到这些操作员之间的中间数据吗？

2热度

1回答

Flink：HA模式杀死领导jobmanager终止备用jobmanagers

我想让Flink使用Zookeeper在HA模式下运行，但是当我尝试通过杀死领导者JobManager来测试它时，我所有的备用jobmanage都被杀死了。因此，作为一名新的领导者而不是一个备用的工作管理者，他们都会被杀死，这是不应该发生的。我的设置： 4台服务器，其中3台服务器运行Zookeeper，但只有1台服务器将托管所有JobManager。 ad011.local: Zookeepe