如何计算Apache Spark DataFrame中所有列的不同值的数量

Question

我想计算DataFrame中所有列的不同值的数量。

说，我有这样一个数据帧：

x y z 
----- 
0 0 0 
0 1 1 
0 1 2 

而且我想格式的另一个数据框（或任何其他结构）：

col | num 
--------- 
'x' | 1 
'y' | 2 
'z' | 3 

会是什么做的最有效的方法那？

Answer 1

您可以使用countDistinct来计算不同的值;这适用于所有列，使用map的列构建表达式的列表，然后将此与agg功能可变参数语法：

val exprs = df.columns.map(x => countDistinct(x).as(x)) 
df.agg(exprs.head, exprs.tail: _*).show 
+---+---+---+ 
| x| y| z| 
+---+---+---+ 
| 1| 2| 3| 
+---+---+---+