任何类型的架构不被支持

我想创建一个火花UDF从用户定义的案例类中提取（键，值）对的映射。任何类型的架构不被支持

scala函数似乎工作正常，但是当我尝试将其转换为spark2.0中的UDF时，我遇到了“Schema for any type is not supported”错误。

case class myType(c1: String, c2: Int) 
def getCaseClassParams(cc: Product): Map[String, Any] = { 

    cc 
     .getClass 
     .getDeclaredFields // all field names 
     .map(_.getName) 
     .zip(cc.productIterator.to) // zipped with all values 
     .toMap 

    }

但是，当我尝试实例化的函数值，因为它导致了以下错误UDF -

val ccUDF = udf{(cc: Product, i: String) => getCaseClassParams(cc).get(i)} 

java.lang.UnsupportedOperationException: Schema for type Any is not supported 
    at org.apache.spark.sql.catalyst.ScalaReflection$.schemaFor(ScalaReflection.scala:716) 
    at org.apache.spark.sql.catalyst.ScalaReflection$.schemaFor(ScalaReflection.scala:668) 
    at org.apache.spark.sql.catalyst.ScalaReflection$.schemaFor(ScalaReflection.scala:654) 
    at org.apache.spark.sql.functions$.udf(functions.scala:2841)

来源

2017-02-08 Yash

错误消息说，这一切。你在地图上有一个Any。 Spark SQL和Dataset api在架构中不支持Any。它必须是受支持的类型之一（它是基本类型的列表，如String，Integer等支持类型的序列或受支持类型的映射）。

来源

2017-02-09 07:32:03

任何类型的架构不被支持

回答

相关问题