kafka-producer-api

0热度

1回答

在confluent-kafka-dotnet v0.9.5上使用ProduceAsync方法写入Kafka上的同一主题时，它会覆盖默认分区和偏移量（P0，O0）上的数据，还是将它写入分区上的下一个可用偏移量？

0热度

1回答

我试图确定在AWS上的示例Kafka集群设置中可以实现的最大吞吐量。我在两个EC2实例上配置了2个Kafka代理，并试图使用ProducerPerformance Tool来监控吞吐量，如下所示。 ./bin/kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --throughput = 10000 - topic = TO

0热度

1回答

为吞吐量缩放卡夫卡

我已经在AWS上设置了一个示例Kafka集群，并试图通过给定的配置来确定最大吞吐量。我目前正在为此分析提供此处提供的帖子。 https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines 我将不胜感激，如果你能澄清以下问题。我观察到具有给定硬

3热度

1回答

asp.net核心依赖注入配置

我正在寻找注入一个卡夫卡生产者作为一个单身我的应用程序。目前在处理实例时需要两个步骤。首先，你必须刷新缓冲区，第二次调用处理。为了提高性能，只有在不再处理消息时才会发生这种情况。我对ASP.NET核心的解决方案是在DI中使用AddSingleton()方法，然后使用ApplicationLifetime.ApplicationStopping.Register来注册一个回调函数，以便刷新和处置生

0热度

2回答

卡夫卡生产商生产数据的主题从PORT

我是卡夫卡的新手。我有一台Linux机器，其中端口号2552从外部服务器获取数据流。我想使用卡夫卡生产者来监听那个端口并获取数据流到一个主题。

0热度

1回答

卡夫卡消费者从磁盘读取缓存数据库

我在AWS上配置了两个节点的Kafka集群，目前正在测试其性能属性。我使用kafka-consumer-perf-test.sh从单个线程读取来自Kafka主题的5000万条消息。我在测试消费者吞吐量时观察到以下情况。观察1 上m4.large EC2实例单个消费者 - 读吞吐量40.2MB /秒 3名消费者在三个独立的m4.large EC2实例 - 个人读取吞吐量 - 40.25MB

0热度

2回答

卡夫卡Producer和Broker吞吐量限制

我在AWS上配置了复制因子为2的双节点六分区Kafka集群。每个Kafka节点在由EBS支持的m4.2xlarge EC2实例上运行。据我所知，卡夫卡生产者向卡夫卡经纪人传输的数据流量受制造商网络带宽的限制。表示Kafka生产者和代理之间的网络带宽为1Gbps（约125 MB/s），Kafka代理和存储之间（EC2实例和EBS卷之间）的带宽为1 Gbps。我使用org.apache.kafk

2热度

1回答

在Kafka中，如果参数“retries”设置为1或更多，那么是否会自动执行重试？

的retries参数，因为它规定设定一个大于零的值将导致客户端重新发送它的发送失败有可能引起暂时的错误的任何记录。请注意，此重试与客户端收到错误时重新发送记录没有区别。我想确认的是由kafka框架自动进行重试，或者需要客户端进行任何其他处理。如果它自动完成，并且说retries设置为1。如果record的发送也在第二次尝试时失败，那么kafka会在重试和停止重试时以不同的方式告知我相应的错误

2热度

2回答

在kafka中发送同步消息？

如何发送kafka中的同步消息？实现它的一种方法可以通过设置属性参数 max.in.flight.requests.per.connection = 1。但我想知道是否有以kafka发送同步消息的直接或替代方式。（类似producer.syncSend（...）等）。

0热度

2回答

卡夫卡生产者读取本地Linux文件夹

我正在写一个卡夫卡生产者它必须从本地Linux文件夹读取数据并写入我的主题是否可以这样做？什么是我的代码片段这里（斯卡拉）商业案例 - 实时数据将在本地的Linux文件夹中的此CSV文件的形式被写入 - /数据/ DATA01 /制药/ 2017/ 如何将这些数据移动到我创建的主题？我的消费者将读取这些数据，并添加到星火流数据帧进行处理