Apache Flume Kafka Producer - 动态生成partition_id/key

Question

我有一个任务使用Apache Flume将消息发送到Kafka主题。需要注意的是，我必须根据消息中的IP地址指定一个分区。

有没有办法配置Apache Flume动态地执行此操作，还是必须实现自定义的Producer插件？

谢谢。

Answer 1

经过一番研究，配置制作人的唯一真正的自定义方式是自己推出。

我实现了AbstractSink接口，并把我自己的哈希算法生成一个分区来发送消息。