分区由星火SQL多列

Question

火花SQL的窗口功能，我需要通过多个列进行分区来运行我的数据查询，如下所示：

val w = Window.partitionBy($"a").partitionBy($"b").rangeBetween(-100, 0)

我目前还没有一个测试环境（正在处理这些设置），但是作为一个快速问题，目前是作为Spark SQL窗口函数的一部分支持的，还是这不起作用？

Answer 1

这不起作用。第二个partitionBy将覆盖第一个。两个分区列必须在同一个调用中指定：

val w = Window.partitionBy($"a", $"b").rangeBetween(-100, 0)