Pyspark保存数据帧到S3

Question

我想数据帧保存到S3，但是当我将文件保存到S3，它会创建空文件与${folder_name}，在我要保存文件。

语法来保存数据框： -

f.write.parquet("s3n://bucket-name/shri/test") 

它保存在测试文件夹中的文件，但它创造shri下$test。

有没有一种方法可以保存它而不创建额外的文件夹？

Answer 1

据我所知，目前还没有办法控制的实际拼花文件的命名。当您将数据框写入parquet时，需要指定目录名称，并在该目录下创建适当的parquet文件。

Answer 2

我能够通过使用下面的代码来做到这一点。

df.write.parquet("s3a://bucket-name/shri/test.parquet",mode="overwrite") 

Answer 3

我在堆栈上找到了一个类似的帖子，这里是链接。它已经回答了这个问题。

Junk Spark output file on S3 with dollar signs