confluent

0热度

2回答

我成立了汇合的Python卡夫卡消费者对我的笔记本电脑（Ubuntu的17），一切都很好，我可以听远程主题和接收消息。但是当我尝试将其设置服务器（Ubuntu的16）上，有什么似乎是一个压缩的问题。数据来自Divolte，并用LZ4压缩。数据成功接收，而不在第一次连接到一个主题的任何错误，但关闭并重新打开后消费，收到第一个消息，并抛出一个错误： <cimpl.Message object at

3热度

1回答

连接器状态不一致：ConnectException：此工作中已存在任务

我正在使用Confluent Platform 3.2。在3台不同的EC2机器上运行3名工人。我有一个连接器（debezium/MySQL源），我删除并在几分钟后重新开始。但由于以下错误，我无法成功启动连接器。连接器处于失败状态。我不得不重新启动工作人员来解决问题。需要知道这是否与缓存有关？如何解决此问题而无需重新启动工作人员。任何支持表示赞赏。 { "name": "debeziu

0热度

1回答

如何查看安装的融合平台的版本

我们如何检查安装在Linux机器上的融合平台的版本？我需要知道确切的主要和次要版本来调试问题。任何支持表示赞赏。

0热度

1回答

如何使用Confluent Kafka处理消费者端的消息处理失败？

我正在从基于JMS的系统迁移到Kafka，Kafka负责同步新旧系统之间的事务。每个由新系统发布的消息都必须由用户/消费者成功处理。我不必担心消息的顺序。由于遗留系统中存在一些设计问题（悲观锁定），偶尔有一些消息到达时很少有事务可能失败，在这种情况下，我希望消息在延迟后回来。我试图找出如何处理与卡夫卡这种情况。我的源和目标应用程序在.NET 4.6.1和C＃中。我正在使用Confluent.Ka

0热度

1回答

kafka与server.properties不采摘log4j

使用Confluent kafka这是kafka超集。 kafka以./bin/kafka-server-start ./etc/kafka/server.properties 开头，但未在./etc/kafka/log4j.properties中选择log4j，在控制台或/ tmp/kafka中看不到适当的日志-logs目录，下面是server.properties： `# Licensed

0热度

1回答

将Avro架构保存到Confluent架构 - 注册表

我正在尝试使用Postman编写一个非常简单的架构到注册表，并且已经很难得到它注册。注册一个简单的模式，这只是整个流程的第一步，还是我在这里丢失了一些东西？我使用的模式如下： { "schema":{ "type" : "record", "name" : "User", "namespace" : "com.temp.avro.model", "fiel

2热度

1回答

Kafka：民意调查中的反序列化问题

自从有些日子以来，我一直在玩合唱版本的kafka，以便更好地理解平台。我收到了一些发送到一个主题的格式错误的avro消息的序列化例外。让我用事实说明问题： <kafka.new.version>0.10.2.0-cp1</kafka.new.version> <confluent.version>3.2.0</confluent.version> <avro.version>1.7.7</av

0热度

2回答

使用C＃和Confluent连接到IBM消息中心

我试图使用IBM消息中心创建生产者和消费者应用程序。对于生产者我使用以下代码： var config = new Dictionary<string, object> { { "bootstrap.servers", brokerList }, { "group.id", "simple-csharp-producer" }, { "client.i

1热度

1回答

空指针异常/未找到当我尝试在Avro模式中处理和吸收数据时出现异常

我正在使用处理器来使用来自主题的字节数组serdes的字节数组数据，将它们处理为通用记录（基于模式I从我的HTTP GET请求获得）并将它们发送到具有格式化avro模式注册表的主题。我没有问题从HTTP GET请求中检索架构，并根据它来映射我的数据以生成架构之后的通用记录。然而，当我试图把它沉到的话题，我得到一个空指针异常： org.apache.kafka.common.errors.Seri

1热度

2回答

如何合并多个kafka流以便在结果流的所有事件上执行会话窗口

我们有多个输入主题，其中包含不同的业务事件（页面查看，点击，滚动事件等）。就我所了解的Kafka流而言，它们都会得到一个事件时间戳，可用于KStream与其他流或表格进行连接以调整时间。我们想要做的是：合并所有不同的事件（源自上述不同的主题）为用户ID（即按用户ID分组）并将会话窗口应用于他们。这应该尽可能在包含所有事件的流上使用groupByKey，然后aggregate/reduce（在此