火花斯卡拉连接

Question

在连接使用斯卡拉火花的情况。以前我没有Scala的经验，并且使用Python和Spark结合。

所以对于Python的连接做这样的：

import findspark 
import pyspark 
findspark.init('/Users/SD/Data/spark-1.6.1-bin-hadoop2.6') 
sc = pyspark.SparkContext(appName="myAppName") 

再编码的过程就开始了。

所以我的问题是 - 我怎么能建立使用斯卡拉方言星火连接？

谢谢！

Answer 1

无论Python或阶的，下面的步骤是常见的

1. 使罐子提供给您所使用的语言（蟒蛇路径斯卡拉Python和SBT进入）

斯卡拉

name := "ProjectName" 
version := "1.0" 
scalaVersion := "2.10.5" 
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.0" 

蟒蛇

PYTHONPATH=/Users/XXX/softwares/spark-1.6.1-bin-hadoop2.6/python:/Users/XXX/softwares/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip:PYTHONPATH 

一旦库可用，则使用是常规的如下面

在阶

val conf = new SparkConf().setAppName(appName).setMaster(master) 
new SparkContext(conf) 

在蟒

conf = SparkConf().setAppName(appName).setMaster(master) 
sc = SparkContext(conf=conf) 

的你提供的代码片段是获取python库。它可能会起作用，但可能并不是你会遵循的最终方法。