2017-02-03 60 views
1

我对Spark和DSE比较新,我试图以编程方式将火花作业提交到DSE火花集群?使用SparkLauncher以编程方式将火花作业提交到dse火花集群

我正在使用org.apache.spark.launcher.SparkLauncher api。我试着按照SparkLauncher的文档。

Process launcher = new SparkLauncher().setAppName("appName") 
        .setAppResource("spark-job.jar") 
        .setSparkHome("spark-home") 
        .setMainClass("main-class") 
        .setVerbose(true).launch(); 
launcher.waitFor(); 

但似乎并未在dse集群上启动作业。我可以使用以下方式手动触发作业:dse spark-submit命令

请在这里感谢任何帮助。谢谢 !

回答

1

我相信这与设置您的sparkHOme有关。确定你的火花回家在DSE,然后添加

.setSparkHome("sparkHomeDir") 

而你宁愿使用SparkHandle而不是阻塞等待。

SparkAppHandle handle = launcher.startApplication();