如何将非数据框参数传递给udf火花

Question

任何请帮助知道如何将非数据框值作为参数传递给udf。

val df2 = df1.withColumn("newcol", udffunc(df1("col1"), x)). 

udf函数我定义如下。

udffunc = udf(method _) 

方法一定义如下。

def method(inputvar1: String, inputvar2: String): Option[Long] = { 
    ... 
    ... 
    return Longvariable 
} 

Answer 1

我能够通过为UDF编写下面的代码来解决问题。

def udffunc = udf((y:String) => { 
    val format:String = "x" 
    method(y, "x") 
    }) 

所以与此，我能够从.withColumn通过一个参数（数据帧列）给UDF功能udffunc然后是能够通过其为“×”，在上面的例子中的功能的外部参数命名为“方法”。