如何在Spark Streaming中将压缩数据写入Kafka？

Question

是否可以从Spark流中将gzip压缩数据写入Kafka？是否有任何示例/示例说明如何在Spark流作业中从Kafka写入和读取压缩数据？

Answer 1

是的，这是可能的。只需将compression.type设置为gzip即可。

查看here的完整示例。

// Zookeeper connection properties 
val props = new HashMap[String, Object]() 
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers) 
props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip") 
// add other props as needed 

val producer = new KafkaProducer[String, String](props) 

Answer 2

您可以使用CLI或在server.properties文件中设置。

--compression-codec [压缩编解码器]压缩编解码器：'none'，'gzip'，'snappy'或'lz4'。如果没有指定值，则默认为'gzip'。 0是默认值。

https://cwiki.apache.org/confluence/display/KAFKA/Compression