在HDFS自定义位置保存DStream

Question

Spark DStream的方法saveAsTextFiles（前缀，[后缀]）可用于在HDFS上保存数据，但此函数不接受任何路径参数。

myDStream.saveAsTextFiles("prefix_","_suffix") 

默认情况下，它是将数据保存到当前登录的用户目录上HDFS也就是说，如果你正在运行的应用程序使用root用户，然后数据被存储在

/user/root/prefix_TIMESTAMP_suffx 

如何更改输出目录？

感谢

Answer 1

给它的前缀参数所需的HDFS目录的路径：

myDStream.saveAsTextFiles("hdfs://my/custom/path/prefix_","_suffix")