apache-flink

1热度

1回答

我的问题是，如果我们有两个原始事件流，即烟雾和温度，我们要找出是否复杂的事件即消防已经运用运营商的原始数据流发生的事情，我们可以做到这一点在弗林克？我在问这个问题，因为我目前为Flink CEP看过的所有例子都只包含一个输入流。如果我错了，请纠正我。

1热度

1回答

Elasticsearch索引作为apache flink批处理作业的源码

我对Apache Flink相当陌生。我有一个具体的要求是我必须使用elasticsearch索引作为源。我试图找出flink是否具有elasticsearch的来源，但似乎不是。我可以看到我们可以将elasticsearch作为一个接收器，但是作为源的直接支持不在那里。任何人都可以指导我如何解决这个问题。我正在使用elasticsearch 5.5.0和flink 1.2。

-1热度

1回答

阿帕奇风暴TICK元组在Apache flink中相当于什么？

我是apache Flink的新手。我想每小时记录缓存中条目的数量到一个文件。我使用tick元组在这个风暴中做了这个。 Flink有类似的东西，我可以在flink运营商中使用吗？

2热度

1回答

Apache Flink Dynamic sink of sink

我正在使用Apache Flink和KafkaConsumer读取卡夫卡主题中的一些值。我也有一个从阅读文件中获得的流。根据收到的值我想写这个流在不同的卡夫卡主题。基本上，我有一个网络与一个领导链接到许多孩子。对于每个孩子来说，领导者需要在特定儿童卡夫卡主题中编写流派流，以便孩子可以阅读。当孩子开始时，它会注册在领导者提供的卡弗卡话题中。问题是我不知道我有多少孩子。例如，我从卡夫卡主题

-1热度

1回答

阿帕奇flink数据集

我有DataSet数据对象，它将有50列数据的结果集。现在我想过滤结果集DataSet filteredData，它应该只有2列数据。如何做到这一点Apache Flink的Java？

0热度

1回答

将自定义源的数据以连续的方式写入flink

这是我第一次使用Apache Flink（1.3.1）并且有问题。更详细地说，我正在使用flink-core，flink-cep和flink-streaming库。我的应用程序是一个Akka ActorSystem，它消耗来自RabbitMQ的消息，并且各个角色处理这些消息。在一些演员中，我想实例化来自Flink的StreamExecutionEnvironment并处理传入的消息。因此我写了一个

1热度

1回答

基于模型的增量式异常值检测

我正在处理流式数据（使用Java和Apache Flink），我想执行异常值检测。我有一个网络，每个传感器接收流。然后，他们将其流的采样版本发送到组合所有样本并生成全局模型的“领导者”节点。之后，它将全局模型发送给每个孩子。孩子们将使用这个模型来检测异常值。这必须以连续的方式发生（即每次领导者接收x个样本时，其更新模型并广播它）。我发现的论文/方法遇到的问题是，为了构建模型，我需要拥有所有

1热度

1回答

Apache Flink：如何更改缓冲区超时参数？

Apache Flink缓存任务的传出，然后发送下一个任务进行处理。缓冲会影响延迟，因为我知道即使没有填充缓冲区，缓冲也会发送数据到下一个任务。我该如何改变缓冲超时？我找不到任何文件。是每个Flink群集或每个TaskManager的配置？它可以根据任务/操作员进行配置吗？因为我知道Flink缓冲区，即使任务在同一个TaskManager上。在这种情况下，它将影响同一个TaskManager

0热度

1回答

卡夫卡/ Flink与地图功能的集成问题

我在Apache Flink的scala中运行一个简单的脚本。我从Apache Kafka制作人处读取数据。这是我的代码。 import java.util.Properties import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment import org.apache.flink.stream

1热度

1回答

消耗阿帕奇弗林克

DynamoDB流有没有人尝试消耗DynamoDB在Apache中弗林克流？弗林克有室壁运动的消费者。但我正在寻找如何直接使用Dynamo流。 DataStream<String> kinesis = env.addSource(new FlinkKinesisConsumer<>( "kinesis_stream_name", new SimpleStringSchema(), con