如何将DStream转换为avro格式并保存在hdfs中的文件

Question

我有一个类型为[String，ArrayList [String]]的DStream，我想将此DStream转换为avro格式并将其保存为hdfs。我怎么能做到这一点？

Answer 1

您可以将您的流转换为JavaRDD或将其转换为DataFrame并将其写入文件并提供Avro格式。

// Apply a schema to an RDD 
DataFrame booksDF = sqlContext.createDataFrame(books, Books.class); 
booksDF.write() 
    .format("com.databricks.spark.avro") 
    .save("/output"); 

更多示例请访问Accessing Avro Data Files From Spark SQL。

希望这有助于。