星火：保存RDD在HDFS

Question

已经存在的道路我能保存RDD输出到HDFS与saveAsTextFile方法。如果文件路径已经存在，此方法将引发异常。

我有我需要保存RDDS在HDFS已经存在的文件路径的使用情况。有没有办法只是将新的RDD数据附加到已存在于同一路径中的数据？

Answer 1

一个可能的解决方案，因为星火1.6可用，是使用DataFrames与text格式和append模式：

val outputPath: String = ??? 

rdd.map(_.toString).toDF.write.mode("append").text(outputPath)