2016-11-17 256 views
0

我写了一个由SBT作为JAR打包的Spark应用程序。 JAR应该部署在一个集群上。我也希望能够以本地模式运行程序sbt run。目前我使用火花提交时覆盖集群URL

val spark = SparkSession 
     .builder 
     .master(args(0)) 
     .getOrCreate() 

创建我SparkSession。我可以在我的./bin/spark-submit命令中使用--master myclusterurl来写.master("local")并覆盖"local"吗?

回答

0

只需使用--master URL和SparkConf

SparkSession.builder.config(new SparkConf()).getOrCreate