2016-11-14 51 views
0

我是新来的火花。我正在尝试使用Gradle构建Spark,如下所示:Spark应用程序无法使用火花芯罐构建2.0.1

编译组:'org.apache.spark',名称:'spark-core_2.10',版本:'2.0.1' 编译组:'org.apache.spark',名称:'spark-sql_2.10',版本:'2.0.1'

我收到以下错误: 错误:对象UserDefinedFunction不是包org的成员。 apache.spark.sql

[ant:scalac] import org.apache.spark.sql.UserDefinedFunction._ 
[ant:scalac]       ^
[ant:scalac] error: bad symbolic reference. A signature in HiveContext.class refers to type Logging 
[ant:scalac] in package org.apache.spark which is not available. 

虽然相同的代码构建完美的,当我在我的gradle这个编译使用的jar 1.6:

compile group: 'org.apache.spark', name: 'spark-core_2.10', version: '1.6.0' 
    compile group: 'org.apache.spark', name: 'spark-sql_2.10', version: '1.6.0' 

我解压缩了jar 2.0.1,发现UserDefinedFunction函数不可用,而它在1.6中可用。

请指教。我怎样才能解决这个问题,并将我的代码库升级到jar 2.0.1?

谢谢。

回答