如何解决'DataFrame'对象没有属性'coalesce'？

Question

在PySpark应用程序中，我试图通过将数据框转换为熊猫来转置数据框，然后我想将结果写入csv文件。这是我正在做它：

df = df.toPandas().set_index("s").transpose() 
df.coalesce(1).write.option("header", True).option("delimiter", ",").csv('dataframe') 

时执行该脚本，我得到以下错误：

'DataFrame' object has no attribute 'coalesce' 

是什么问题？我该如何解决它？

Answer 1

问题是您将火花数据帧转换为熊猫数据帧。熊猫数据框没有​​3210方法。你可以看熊猫here的文档。

当您使用toPandas()时，数据帧已被收集，并且在内存中， 尝试使用熊猫数据帧方法df.to_csv(path)来代替。