不同的火花输入和输出格式

Question

在Spark中开箱即用支持哪些不同的输入和输出格式？

Map Reduce支持其中的很多，但我在Spark中只看到textFile和objectFile。

另外我怎样才能在Spark中利用Hadoop输入/输出格式？

Answer 1

您可以通过在大多数RDD类型上调用saveAsNewAPIHadoopFile来将RDD保存为任何传统的Hadoop文件格式，例如， PairRDDFunctions，并在SparkContext上致电newAPIHadoopFile阅读。

Answer 2

我想你使用Java？查看RDD here上的所有saveAs函数以及JavaSparkContext类here中的所有输入函数。