访问SparkContext

Question

的SparkContext在SparkR（V1.5.1）是

Java ref type org.apache.spark.api.java.JavaSparkContext 

然而当创建我的课：

.jnew("com.example.MyClass","sc") 

我的Scala类：类TableReader（SC：JavaSparkContext ），我得到一个：java.lang.NoSuchMethodError：

这是什么“Java引用类型”，我怎么能从它通过rJava发送的实际上下文？

Answer 1

SparkR似乎在backend.R中实现了自己的Java互操作性。调用的形式为SparkR:::newJObject(className, args)，但我找不到任何特定的文档，除了在同一个项目中的测试。

需要初始化sqlContext，并在启动过程中使用--jars {csv jars}或--packages加载相关jar，如documentation中所述。