火花上下文不能在MLUtils.loadLibSVMFile和Intellij中重新使用

Question

我尝试在这里运行多层感知器分类器示例：https://spark.apache.org/docs/1.5.2/ml-ann.html，它似乎在spark-shell中运行良好，但不适用于像Intellij和Eclipse这样的IDE。这个问题源于 val data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_multiclass_classification_data.txt").toDF()

IDE提示无法解析符号SC（sparkcontext），但库路径已经正确配置。如果有人能帮助我，谢谢！

Answer 1

实际上默认情况下没有sc这样的值。它是在spark-shell启动时导入的。在任何有序的scala \ java \ python代码中，您都应该手动创建它。我最近做了very low quality answer。您可以使用关于sbt和库中的一部分。

接下来，您可以使用类似下面的代码作为模板来启动。

import org.apache.spark.sql.SQLContext 
import org.apache.spark.{SparkContext, SparkConf} 

object Spark extends App { 
    val config = new SparkConf().setAppName("odo").setMaster("local[2]").set("spark.driver.host", "localhost") 
    val sc = new SparkContext(config) 
    val sqlc = new SQLContext(cs) 

    import sqlc.implicits._ 

//here you code follows 
} 

接下来你可以按Ctrl 移F10它