flink-cep

0热度

2回答

Flink Avro 1.8.1 NoSuchMethodError在群集上运行时

我们运行Flink 1.3.0 CEP作业并依靠Avro 1.8.1（LogicalType在Avro 1.7.7中不存在）来序列化复杂事件（如POJO）。它的工作从IDE（的IntelliJ）中运行时，但是当我们打包的jar文件并将其部署到集群中，我们得到： java.lang.NoSuchMethodError: org.apache.avro.Schema.setLogicalType(Lo

0热度

1回答

Ylink上的Flink JobManager是否需要Zookeeper进行HA设置

Flink文档中提到：“运行高可用性YARN集群时，我们不会运行多个JobManager（ApplicationMaster）实例，但只有一个，在故障时由YARN重新启动。。然后在“高可用性：动物园管理员”下面。我没有使用纱线的经验，但为什么我们需要设置zookeeper，如果Yarn负责重新启动并且我们只有一个JobManager？或者这是资源管理器的动物园管理员？

2热度

3回答

为我们的流媒体事件构建实时规则引擎的最佳方法

我们正在构建物联网云平台项目的开始。有一些众所周知的部分可以实现完整的IoT平台解决方案。其中之一是实时规则处理/引擎系统需要了解流式事件与最终用户以可读格式动态定义的任何规则匹配（SQL或Drools if/when/then等）我很困惑，因为互联网上有很多产品，项目（Storm，Spark，Flink，Drools，Espertech等），考虑到我们有3人开发团队（初级，中级，高级），最好

1热度

1回答

弗林克流上的时间窗口

我是新来弗林克创建文件（CSV或文本）我有改造想这样 val supportTask= customSource .map(line => line.split(",")) .map(line => SupportTaskNew(line(0)toInt,line(1).toString,line(2)toString,line(3)toLong,line(4).toStr

1热度

1回答

弗林克流AWS S3并行读取

我是新来弗林克多个文件，我的理解是继API调用 StreamExecutionEnvironment.getExecutionEnvironment().readFile(format, path) 将并行读取该文件给出S3存储路径。我们存储S3的日志文件。要求是服务多个客户端请求从具有时间戳的不同文件夹读取。对于我的使用情况，服务多个客户端的请求，我正在评估使用弗林克。因此，我希望Fli

0热度

1回答

flink Table SQL Api

我想知道我们可以使用flink Table和SQL api中的两个表（连接）来编写查询。我是flik新手，我想从两个不同的数据集创建两个表并查询它们并生成其他数据集。我的查询会像select... from table1, table 2...那么我们可以这样写这样的查询哪些查询两个表或更多？感谢

1热度

1回答

灵活处理一次消息处理

我已经设置了一个具有2个JobManager和3个TaskManager的Flink1.2独立群集，我使用JMeter通过生成Kafka消息/事件来加载测试它，然后处理它。处理作业在TaskManager上运行，通常需要约15K事件/秒。该作业设置了EXACTLY_ONCE检查点，并将状态和检查点保存到Amazon S3。如果我关闭运行作业的TaskManager，则需要几秒钟，然后在不同的T

0热度

1回答

Lagom将事件（记录）直接插入Cassandra

我是Lagom和持久性实体数据库概念中的新成员。我正在构建流式分析引擎。我的每项分析都将作为独立的微服务运行，根据其设计理念，每个微服务的结果都将保存在自己的数据库中（我的情况是Cassandra）。我正在使用Flink & Spark进行流式分析，然后使用Phantom for Flink（Cassandra的Scala驱动程序）将结果下沉到Cassandra。我无法理解Lagom框架中的以下

1热度

1回答

是否有可能在apache flink CEP中处理多个流？

我的问题是，如果我们有两个原始事件流，即烟雾和温度，我们要找出是否复杂的事件即消防已经运用运营商的原始数据流发生的事情，我们可以做到这一点在弗林克？我在问这个问题，因为我目前为Flink CEP看过的所有例子都只包含一个输入流。如果我错了，请纠正我。

0热度

1回答

在一个数据流中匹配或加入来自两个kafka主题的事件和规则

我想在一个Datastream中的两个kafka主题之间进行连接。事实上，两个数据流必须具有相同的ID才能进行连接。事件是来自传感器的数据，规则包含将用CEP（来自用户界面）检查的规则。这是我的测试，但它不起作用，任何人都可以帮助我吗？ DataStream<Object> evtAndRule=inputEventStream.join(rulesStream) .where