DataFrame第一个函数ignoreNulls不起作用

Question

读取Spark文档的第一个函数，它提到ignoreNulls会得到第一个非空值。

import org.apache.spark.sql.SparkSession 
import org.apache.spark.sql.functions._ 
import org.apache.spark.sql.expressions.{Window, WindowSpec} 

object tmp { 
    def main(args: Array[String]): Unit = { 
    val spark = SparkSession.builder().master("local") getOrCreate() 
    import spark.implicits._ 

    val input = Seq(
     (1234, 1, None), 
     (1234, 2, Some(1)), 

     (5678, 1, Some(11)), 
     (5678, 2, Some(22)) 
    ).toDF("service_id", "counter", "value") 

    lazy val window: WindowSpec = Window.partitionBy("service_id").orderBy("counter") 
    val firsts = input.withColumn("first_value", first("value", ignoreNulls = true).over(window)) 
    firsts.orderBy("service_id", "counter").show() 
    } 
} 

这将返回以下输出。我想的第一行FIRST_VALUE在空值是1。我失去了一些东西在这里

+----------+-------+-----+-----------+ 
|service_id|counter|value|first_value| 
+----------+-------+-----+-----------+ 
|  1234|  1| null|  null| 
|  1234|  2| 1|   1| 
|  5678|  1| 11|   11| 
|  5678|  2| 22|   11| 
+----------+-------+-----+-----------+ 

Answer 1

你必须定义rangeBetween选项为它工作

lazy val window: WindowSpec = Window.partitionBy("service_id").orderBy("counter").rangeBetween(Long.MinValue, Long.MaxValue) 

它，因为如果你不” t在window函数中定义范围，则采用递增范围，即对于第一行，范围是1行，对于第二行，范围是2行，等等.....全部在分区窗口内。

我希望答案有帮助