apache-flink

1热度

1回答

问：我怎样才能查询码弗林克内部的特定消费群的抵消了卡夫卡的话题？（和侧面的问题（如果需要的话，会在这里提出一个新问题）如果可能的话，我可以得到该偏移量的时间戳吗？（我发现有cli工具来查询它，但是这不是我想要的，因为它不是编程方式弗林克工作中完成的）上满问题的一些额外的背景，但我不想让这个过于开放式的。我有其中数据将被从kafkaTopic1流入的程序的使用情况下（让我们称之为P1），处理

0热度

1回答

如何指定ResourceManager的地址为bin/yarn-session.sh？

我是Flink的新手。运行时，我很困惑如何指定ResourceManager的地址bin/yarn-session.sh？

0热度

1回答

Flink状态后端键atomicy和分配

在阅读flink文档（相关部分在下面注明）之后，我仍然没有完全理解原子性和密钥分布。即考虑由keyby-> flatmap（含有映射的状态）的设置为1与4个任务槽的曲线图，和平行度，并确保弗林克每个键只存在一次（在一个任务时隙）在分布式环境中，它是原子单位吗？在此先感谢所有帮手。您可以将键控状态视为操作员状态，该状态已被分区或分区，每个键只有一个状态分区。每个键控状态都逻辑上绑定到一个唯一的

0热度

1回答

如何正确初始化Apache Flink的任务状态？

我正在研究基于Apache Flink的财务反欺诈系统。我需要根据金融交易计算许多不同的总量。我使用Kafka作为流数据源。例如，在平均交易金额计算中，我使用MapState来存储总交易数和每张卡的总金额。存储在Apache Accumulo中的汇总数据。我知道Flink的持续状态，但这不是我需要的。在计算开始之前有什么方法可以将初始数据加载到Flink中？是否可以通过使用来自Accumulo的数

1热度

2回答

Flink是否提供Java API以将作业提交给JobManager？

我知道乔布斯可以通过flink或flink.bat提交给JobManager。我想知道Flink是否提供Java API将作业提交给JobManager？

1热度

1回答

在Flink Mapstate中删除TTL过期密钥

我需要能够从地图状态中删除比固定时间早的旧密钥。我目前保持关键状态图中每个事件的时间戳，我想有一个ansyncronous进程将删除这些陈旧的密钥。我使用RocksDB作为状态后端，我不认为RocksDB的Java API支持使用TTL打开的here。所以我的问题是：是它在所有可能拥有一个具有访问Mapstate因为它在操作功能上运行的异步线程？在这种情况下是否有更好的做法？在此先感谢

0热度

1回答

如何在检查点被禁用时配置特定的Zookeeper路径来提交偏移量？

如果检查点未启用，卡夫卡用户将定期向Zookeeper提交偏移量。是否可以配置动物园管理员路径？

0热度

1回答

从VM插座卡夫卡发送的数据流中，并接收对主机操作系统的弗林克计划：反序列化问题

我从虚拟机发送数据流，以卡夫卡的测试题目用下面 public class WriteToKafka { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnviro

0热度

1回答

不能在自定义DataSink（弗林克CEP）

初始化场我与Apache弗林克流API的一个问题。我可以设法建立整个CEP-环境与自定义数据源和源像使用标准的水槽时，“打印（）”，一切工作正常。这是我的片貌似现在： @RequiredArgsConstructor public class EventDataConsumer extends RichSinkFunction<EventData>{ private final tran

4热度

1回答

Apache Apex与Apache Flink

由于两者都是一次处理事件的流式框架，这两种技术/流式框架之间的核心架构差异是什么？另外，哪一个比另一个更合适？