confluent-kafka

0热度

1回答

我有一个KStream x KStream加入正在打破，出现以下异常。 Exception in thread “my-clicks-and-recs-join-streams-4c903fb1-5938-4919-9c56-2c8043b86986-StreamThread-1" org.apache.kafka.streams.errors.StreamsException: Exceptio

0热度

1回答

java - Debezium无法解析DDL（创建proc）语句mysql连接器

我已经集成了debezium连接器在卡夫卡连接到流我的MySQL数据库变化。对于某些过程，它无法读取binlog文件。任何建议或解决方法？陷入这个概率。我可以在mysql中指定不要将ddl日志放入binlog文件吗？ 2017-10-10 15:20:22,314 ERROR MySQL|dbStreamer|binlog Failed due to error: Error processing

0热度

2回答

使用融合kafka连接的ETL

我们有一个用例，我们使用融合的Kafka连接到源和接收数据。它就像一个典型的ETL。我们想了解卡夫卡连接是否可以识别先前流之间的增量变化。即我们只想将改变的数据发送给客户端而不是整个表或视图。另外，我们不希望执行显式代码来通过源和目标数据库上的查询来识别更改。有没有其他的首选方法呢？

0热度

1回答

Confluent Kafka：如果localhost未设置为默认值，如何启动？

试图使用开始使用汇合卡夫卡这个documentation：的融合平台在相关目录下载：/Users/dj/dev/kafka/confluent-3.3.0 的医生说运行： $ confluent start 将返回： -bash: confluent: command not found 阅读进一步的文档假定`服务将与默认属性本地主机上运行，并接着说‘在你的PATH如果没有准备好，通过运行添

0热度

1回答

在kafka集群上启用ssl时，kafka连接无法启动

我正在评估kafka汇合平台4.0版。但是，当我在kafka集群上启用ssl时，kafka连接无法启动。详细记录如下： [2017-12-18 04:38:55,747] ERROR Uncaught exception in herder work thread, exiting: (org.apache.kafka.connect.runtime.distributed.Distribute

0热度

1回答

设置不同的线程用于内卡夫卡不同操作行旅

我已经定义以下在卡夫卡拓扑流 Operation 1 : input_stream ----> filter ----> window_processing ----> write_to_topic Operation 2 : input_stream ----> write_to_topic 我观察到，这两个操作正在由同一线程（即使我增加线程StreamsConfig.NUM_STREAM

2热度

1回答

Kafka连接自定义timestamp.extractor

我试图从卡夫卡读取消息到S3，有问题添加jar到Kafka连接类路径。目标是根据时间戳在分区中写入消息，该时间戳是卡夫卡消息中密钥的一部分。为了使故事简短，我必须提供自定义时间戳提取器。在文档here之后创建了一个类，该类实现TimestampExtractor接口并将一个JAR位置添加到plugin.path属性。问题是，当我开始连接时，找不到类。不知怎的，罐子是不是在classpath中

0热度

2回答

卡夫卡连接Elasticsearch - 的NoSuchMethodError

我试图从运行的汇合插件kafka-connect-elasticsearch为了从卡夫卡（V0.11.0.1）直接进入Elasticsearch流主题（没有把Logstash之间）。我建立使用Maven连接器 - $ cd kafka-connect-elasticsearch $ mvn clean package 然后我创建了需要的配置文件 - name=es-cluster-lab

0热度

1回答

RdKafka Avro Consumer

我需要阅读C＃RdKafka客户端中的Avro消息。在控制台命令我使用这个属性： --property schema.registry.url = http://localhost:8081 我怎样才能把这个属性在客户端的配置？ var config = new Config() { GroupId = "kafkaUser", EnableAutoCommit = ena

1热度

1回答

使用zookeeper-shall.sh rmr brokers /主题删除主题和删除Kafka10上kafka-topics.sh的标志之间的区别

从我在网上找到的和其他堆栈溢出帖子看来，主要有两种删除主题的方式在卡夫卡。的第一点是：a）delete.topic.enable = true和运行./kafka-topics.sh ---delete --topic <topicName> 方式二：./zookeeper-shell.sh localhost:2181 rmr brokers/topics 我也注意到，第一种方法标记每个话题被