0
我是新来的火花。我正在尝试使用Gradle构建Spark,如下所示:Spark应用程序无法使用火花芯罐构建2.0.1
编译组:'org.apache.spark',名称:'spark-core_2.10',版本:'2.0.1' 编译组:'org.apache.spark',名称:'spark-sql_2.10',版本:'2.0.1'
我收到以下错误: 错误:对象UserDefinedFunction不是包org的成员。 apache.spark.sql
[ant:scalac] import org.apache.spark.sql.UserDefinedFunction._
[ant:scalac] ^
[ant:scalac] error: bad symbolic reference. A signature in HiveContext.class refers to type Logging
[ant:scalac] in package org.apache.spark which is not available.
虽然相同的代码构建完美的,当我在我的gradle这个编译使用的jar 1.6:
compile group: 'org.apache.spark', name: 'spark-core_2.10', version: '1.6.0'
compile group: 'org.apache.spark', name: 'spark-sql_2.10', version: '1.6.0'
我解压缩了jar 2.0.1,发现UserDefinedFunction函数不可用,而它在1.6中可用。
请指教。我怎样才能解决这个问题,并将我的代码库升级到jar 2.0.1?
谢谢。