使用列名称数组聚合Spark数据框，保留名称

Question

我想使用列名称数组作为输入来聚合Spark数据框，并同时保留列的原始名称。

df.groupBy($"id").sum(colNames:_*) 

这个工程，但未能保留名称。通过回答启发发现here我unsucessfully尝试这样做：

df.groupBy($"id").agg(sum(colNames:_*).alias(colNames:_*)) 
error: no `: _*' annotation allowed here 

它可以采取像

df.groupBy($"id").agg(sum(colNames(2)).alias(colNames(2))) 

单个元素如何才能做到这一点整个阵列？

Answer 1

只需提供列的顺序与别名：

val colNames: Seq[String] = ??? 
val exprs = colNames.map(c => sum(c).alias(c)) 
df.groupBy($"id").agg(exprs.head, exprs.tail: _*)