计算dataframe中的空值：scala spark

Question

假设我有一个数据帧df，它有多个列column1,column2 ..我想查找每列中空值的计数。做到这一点的方法是从每一列如：

df.filter($"column1" !== "").count 
df.filter($"column2" !== "").count 
       . 
       . 

但是有没有办法做到一行？

Answer 1

我会建议使用某种聚集，并建立一个新的数据框：

df.agg(
     sum(when($"column1" !== "", 1).otherwise(0)), 
     sum(when($"column2" !== "", 1).otherwise(0)) 
    ) 

编辑：如果你有很多栏目，尝试这样的事情：

val ncols=2 
val cols = (1 to ncols) 
    .map(i=> sum(when(col("column"+i)!=="",1).otherwise(0))) 

df.agg(cols.head,cols.tail:_*)