1
我对Spark和DSE比较新,我试图以编程方式将火花作业提交到DSE火花集群?使用SparkLauncher以编程方式将火花作业提交到dse火花集群
我正在使用org.apache.spark.launcher.SparkLauncher api。我试着按照SparkLauncher的文档。
Process launcher = new SparkLauncher().setAppName("appName")
.setAppResource("spark-job.jar")
.setSparkHome("spark-home")
.setMainClass("main-class")
.setVerbose(true).launch();
launcher.waitFor();
但似乎并未在dse集群上启动作业。我可以使用以下方式手动触发作业:dse spark-submit命令
请在这里感谢任何帮助。谢谢 !