Spark MiniCluster

Question

是否可以完全编程创建一个“Spark MiniCluster”来从Scala程序中运行小型Spark应用程序？我不想启动Spark shell，而是在我的程序的Main中完全制作一个“MiniCluster”。

Answer 1

您可以创建应用程序并使用本地主在独立模式下启动星火：

import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark.SparkConf 

object LocalApp { 
    def main(args: Array[String]) { 
    val sc = new SparkContext("local[*]", "local-app", new SparkConf()) 
    // Do whatever you need 
    sc.stop() 
    } 
} 

你可以做的正是与任何支持的语言同样的事情。