confluent-kafka

0热度

1回答

因此，我们计划使用Avro通过基于合流kafka的生态系统进行通信。我目前对Avro的理解是，每条消息都有其架构。如果是这种情况，我们需要模式注册才能解决版本更新？我问，因为携带每个消息的架构可以防止需要类似模式注册表来将消息ID映射到架构。或者我在这里错过了什么？

1热度

1回答

Apache-Kafka-Connect，Confluent-HDFS-Connector，未知魔术字节，Kafka-To-Hdfs

我使用Confluent HDFS连接器将数据从Kafka主题移动到HDFS日志文件。但是，当我运行这些命令： ./bin/connect-standalone 等/模式的注册表/ connect-avro-standalone.properties \ 等/卡夫卡连接-HDFS/quickstart-hdfs.properties 我正在跟踪错误。我怎么解决这个问题。这是什么原因？造成的：or

1热度

1回答

卡夫卡连接（单个消息变换）行过滤

我读到卡夫卡连接在卡夫卡0.10.2.1 引入变换我注意到，所有的变换是基于列的变换。我有一个用例，我需要基于值的过滤。例如：考虑一群人的以下数据集： {"firstName": "FirstName1", "lastName": "LastName1", "age": 30} {"firstName": "FirstName2", "lastName": "LastName2", "

0热度

2回答

KafkaError与合流的Python卡夫卡消费者不支持的压缩编解码器0x3

我成立了汇合的Python卡夫卡消费者对我的笔记本电脑（Ubuntu的17），一切都很好，我可以听远程主题和接收消息。但是当我尝试将其设置服务器（Ubuntu的16）上，有什么似乎是一个压缩的问题。数据来自Divolte，并用LZ4压缩。数据成功接收，而不在第一次连接到一个主题的任何错误，但关闭并重新打开后消费，收到第一个消息，并抛出一个错误： <cimpl.Message object at

2热度

2回答

错误运行多个独立的卡夫卡HDFS连接器

我们正试图给定节点上启动多个独立卡夫卡HDFS连接器。对于每个连接器中，我们分别设置rest.port和offset.storage.file.filename到不同的端口和路径。而且卡夫卡经纪人JMX端口是9999 @ 当我开始卡夫卡独立的连接器，我得到的错误 Error: Exception thrown by the agent : java.rmi.server.ExportExcep

0热度

1回答

Kafka Connect - 文件源连接器错误

我正在玩Conluent Platform/Kafka Connect和类似的东西，我想运行几个例子。我跟着从here快速启动。这意味着：安装汇合平台（V3.2.1）运行动物园管理员，卡夫卡经纪人和Schema注册运行例如读取文件中的数据（witk卡夫卡连接）我跑此命令（编号3）： [[email protected] confluent-3.2.1]# ./bin/connect-st

0热度

1回答

如何使用Confluent Kafka处理消费者端的消息处理失败？

我正在从基于JMS的系统迁移到Kafka，Kafka负责同步新旧系统之间的事务。每个由新系统发布的消息都必须由用户/消费者成功处理。我不必担心消息的顺序。由于遗留系统中存在一些设计问题（悲观锁定），偶尔有一些消息到达时很少有事务可能失败，在这种情况下，我希望消息在延迟后回来。我试图找出如何处理与卡夫卡这种情况。我的源和目标应用程序在.NET 4.6.1和C＃中。我正在使用Confluent.Ka

1热度

2回答

我如何找到Java依赖关系？

我正在关注this教程。我的代码是这样的： package com.ipponusa; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.streaming.Duration; import org.apache.spa

0热度

1回答

将Avro架构保存到Confluent架构 - 注册表

我正在尝试使用Postman编写一个非常简单的架构到注册表，并且已经很难得到它注册。注册一个简单的模式，这只是整个流程的第一步，还是我在这里丢失了一些东西？我使用的模式如下： { "schema":{ "type" : "record", "name" : "User", "namespace" : "com.temp.avro.model", "fiel

-1热度

3回答

如何从Github使用本地文件而不是一个？

我正在和Confluent Kafka Streams一起工作，我运行了发现的示例流here，而且这个工作正常。我想知道是否有替换以下命令的方式， ./bin/kafka-run-class org.apache.kafka.streams.examples.wordcount.WordCountDemo 与使用本地文件而不是此源在Github上的一个。我试图复制从GitHub的文件，并把它在