使用Apache Drill查询kafka

Question

我一直在想方设法使用Apache Drill来查询使用SQL的Kafka主题。有人可以给我一个启动点，以便如何将钻孔连接到卡夫卡。任何帮助，将不胜感激。

Answer 1

Dr 1.12版本中增加了对查询Kafka的支持。我自己并没有使用它，但我会简要概述所需的常规配置。如果遇到更多问题，请通过Drill的邮件列表http://drill.apache.org/mailinglists/与我们联系。我们可以帮助您调试问题，然后在此处发布结果。

，你需要做的一般概述如下：

1. 创建钻的Web UI的存储插件。命名插件卡夫卡

   { 
       "bootstrap.servers": "broker_1:port1,broker_2:port2", 
       "group.id": "drill-consumer-group-1", 
       "enabled": true 
   } 
   

2. 创建插件配置后，为您的查询相应的卡夫卡消息解串器： alter session set store.kafka.record.reader = org.apache.drill.exec.store.kafka.decoders.JsonMessageReader
3. 还设置了投票超时，对您的查询工作： alter session set store.kafka.poll.timeout = 200
4. 尝试查询：select * from kafka.myTopic;