如何使用的Spark与HiveContext

Question

我是新来spark.I想使用HiveContext在sparkSQL访问窗口functions.But我给这个时候，

import org.apache.spark.sql.hive.HiveContext 

我得到以下错误：

error: object hive is not a member of package org.apache.spark.sql

我找到了需要在build.sbt文件中包含以下依赖项的解决方案。

libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.2 

但我不知道，我应该在哪里找到火花 ，我应该改变这种build.sbt文件，

/home/cloudera/spark-1.5.2/build/sbt 

（或）

/home/cloudera/spark-1.5.2/sbt/sbt 

（或）

/home/cloudera/spark-1.5.2/project/plugins.sbt 

请帮帮我在build.sbt文件中添加依赖关系。

Answer 1

要使用Hive支持构建Spark，不需要对构建定义进行任何更改。只是确保您激活所需的型材

• Maven的

  mvn -Phive -Phive-thriftserver -DskipTests ... clean package 
  

• SBT

  build/sbt -Phive -Phive-thriftserver ... assembly 
  

，因为只有当你建立自己的项目的依赖，需要添加spark-hive。

此外，请不要从Spark下载页面获得的预构建（spark-[SPARK-VERSION]-bin-hadoop[HADOOP-VERSION].tgz文件）二进制文件已经使用Hive支持构建。