如何将文本文件保存为火花中的orc

Question

我是新来的火花，我试图将文本文件保存到使用spark-shell的orc是他们的任何方式来做到这一点？

vall data =sc.textFile("/yyy/yyy/yyy") 
data.saveAsOrcFile("/yyy/yyy/yyy") 

Answer 1

您可以将RDD转换为DataFrame然后保存。

data.toDF().write.format("orc").save("/path/to/save/file") 

读回，用sqlContext

import org.apache.spark.sql._ 
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 

val data = sqlContext.read.format("orc").load("/path/to/file/*")