设置不同的线程用于内卡夫卡不同操作行旅

Question

我已经定义以下在卡夫卡拓扑流

Operation 1 : input_stream ----> filter ----> window_processing ----> write_to_topic 
Operation 2 : input_stream ----> write_to_topic 

我观察到，这两个操作正在由同一线程（即使我增加线程StreamsConfig.NUM_STREAM_THREADS_CONFIG因子）来执行。但是现在我希望他们能够通过不同的线程进行处理，因为Operation 1正在减速Operation 2。有没有办法为不同的操作设置不同的线程。如上面的情况Operation 1正在阻止并放慢Operation 2。

Answer 1

卡夫卡流通过分区和子拓扑/任务并行化。在你的情况下，只有一个子拓扑，因此你只能通过分区并行化。因此，您可以运行尽可能多的线程，因为您可以并行输入主题分区，并且每个线程处理一个分区（或者多个分区的线程少于分区）。

如果您确实想将两个“操作分支”拆分为独立的线程，则需要编写两个应用程序而不是一个应用程序。