Spark SQL将Scala DataFrame转换为列列表

-1

是否可以将spark sql数据框转换为包含List的org.apache.spark.sql.Column？Spark SQL将Scala DataFrame转换为列列表

dataframe中的每一行都将是列表中的一个元素。

2017-10-05 Ronnie Phelps

问题还不清楚：首先，'org.apache.spark.sql.Column'只是“元数据”，它并不包含实际的数据。你的意思是你想用一个列和多个记录将一个DataFrame转换为一个新的DataFrame，其中一个_record_和一个_column_，其中列的类型为List？你为什么想这么做？这样做会强制Spark在一个节点中包含所有数据，从而使Spark的分布式功能无用。 –

不要在评论中发布数据/代码，请[编辑]（https://stackoverflow.com/posts/46591305/edit）您的帖子以包含此信息。 –

号由于DataFrames被（弱）类型的，并且没有ListType，列不能完成列表。

它是什么，是一个ArrayType。 question已被回答。

来源

2017-10-05 20:26:39

Spark SQL将Scala DataFrame转换为列列表

回答

相关问题