kafka-consumer-api

0热度

2回答

如何使用Apache Kafka产生/消费延迟消息？看起来像标准的Kafka（和Java kafka-client）功能没有这个功能。我知道我可以用标准的等待/通知机制自己实现它，但它看起来不太可靠，所以我们赞赏任何建议和良好做法。找到related question，但它没有帮助。正如我所看到的：Kafka基于文件系统的连续读取，并且只能用于直接读取保留消息排序的主题。我对吗？

0热度

2回答

卡夫卡中的同一主题的消费者数量是否有限制？

对于同一组中的同一主题，Kafka对同时连接（使用 Consumer.createJavaConsumerConnector创建）是否有限制？我的情况是我需要消耗不同的过程（不线程）的话题，所以我需要创建大量的高层次消费者的。

3热度

1回答

卡夫卡生产TimeoutException异常：到期

我使用卡夫卡与春季启动1个结果：卡夫卡监制类： @Service public class MyKafkaProducer { @Autowired private KafkaTemplate<String, String> kafkaTemplate; private static Logger LOGGER = LoggerFactory.getLogge

2热度

2回答

关联卡夫卡和动态主题

我正在建立一个使用卡夫卡的相关系统。假设有一个服务A执行数据处理，并有数千个客户端B提交作业。乙 s为短暂的，他们出现在网络上，数据推到一个，然后两个重要的事情发生了：乙将立即从一个接收状态; 乙然后要么辍学完全，还在网上对地位得到进一步更新，还是会偶尔弹回上以检查其状态。（这与网格计算或mpi没有不同）。乙具有一个唯一的ID（UUID在我的情况），这将它发送到在标头，这反过来，使用它

0热度

1回答

Apache kafka - 消费者延迟选项

我想在短时间内为特定主题启动kafka消费者。具体而言，我希望消费者在产生消息的特定时间延迟之后开始消费来自主题的消息。谁能说有没有任何财产或卡夫卡选项来启用它。提前致谢。

0热度

1回答

卡夫卡 - 简单的消费/制造商设置没有不同的机器上工作，但使用下面的简单<code>producer</code>/<code>consumer</code>教程本地工作

我已经安装和设置Kafka： https://kafka.apache.org/quickstart 我有2机器，并且都使用Ubuntu。简历的问题：如果我使用producer和consumer在同一台机器上，一切工作正常。如果我用machine 2的producer，并在machine 1休息，如kafka，zookeeper服务器和consumer，我从来没有在machine 1收到任何

1热度

1回答

C++与卡夫卡 - 消费者只得到一些制片人的消息

我用下面的代码C++产生消息Kafka： #include <thread> #include <cppkafka/producer.h> using namespace cppkafka; int main() { for(int i = 0 ; i < 100 ; i++) { std::cout << "sending msg number: "

3热度

1回答

Kafka Streams：如何更改记录时间戳（0.11.0）？

我正在使用FluentD（v.12上一个稳定版本）向Kafka发送消息。但FluentD使用的是旧的KafkaProducer，因此记录时间戳记始终设置为-1。因此，我必须使用WallclockTimestampExtractor将记录的时间戳设置为时间点，当邮件到达kafka时。时间戳我在真的有兴趣，由fluentd消息中发送： “时间戳”： “1507885936”， “主人”： “V.X

0热度

1回答

问题连接到卡夫卡经纪人

我想连接到使用春季卡夫卡客户端的卡夫卡服务器&我在日志中看到下面的错误。我连接到一个特定的kafka经纪人IP，我验证了这一点。我似乎在下面的错误日志中看到了本地引用。你能帮我进一步调试吗？我推送使用logback.xml。以下是配置。在测试之前我硬编码了kafka主机和端口。相同的代码和配置适用于其中一种环境。 <appender name="asyncVerboseKafka" c

0热度

2回答

卡夫卡的NodeJS与消费群PM2

我实现了卡夫卡的消费者应用程序，我只是想知道，如果我在PM2集群模式下运行这个程序，将所有的内核消耗相同的消息或不同的消息？有没有一种方法可以验证它？在集群模式下运行此应用程序是否理想？我在集群模式下运行这个原因是因为我们的卡夫卡产生了大量的消息。也是目前如果我在PM2集群模式下运行，这所有的核心都达到了它的CPU使用率达到100％。它是否会像这样发生？ FYI：我使用https://www.n