Spark 1.4：Spark SQL ANY和所有函数

Question

我正在开发一个使用Spark SQL 1.4的项目。看起来该版本不支持ANY和ALL函数。

所以有可能为这些函数写一个UDFs或者我们有其他的解决方法。

感谢，

Answer 1

像这样的东西应该做的伎俩：

import scala.reflect.ClassTag 
import org.apache.spark.sql.Column 

type BinColOp = (Column, Column) => Column 

def check[T](f: BinColOp)(
    col: Column, pred: (Column, T) => Column, xs: Seq[T]) = { 
    xs.map(other => pred(col, other)).reduce(f) 
} 

val all = check[Column] (_ && _) _ 
val any = check[Column] (_ || _) _ 

用法示例：

val df = sc.parallelize(
    (1L, "foo", 3.6) :: 
    (2L, "bar", -1.0) :: 
    Nil 
).toDF("v", "x", "y") 

df.select(all($"v", _ > _, Seq(lit(-1), lit(1)))).show 
// +---------------------+ 
// |((v > -1) && (v > 1))| 
// +---------------------+ 
// |    false| 
// |     true| 
// +---------------------+ 

df.select(any($"x", _ !== _, Seq(lit("foo"), lit("baz")))).show 
// +--------------------------------+ 
// |(NOT (x = foo) || NOT (x = baz))| 
// +--------------------------------+ 
// |       true| 
// |       true| 
// +--------------------------------+ 

df.select(all($"x", _ !== _, Seq(lit("foo"), lit("baz")))).show 
// +--------------------------------+ 
// |(NOT (x = foo) && NOT (x = baz))| 
// +--------------------------------+ 
// |       false| 
// |       true| 
// +--------------------------------+