Spark - 通过属性spark-submit

2016-01-20 38 views 1 likes

带有--master纱群集的Spark 1.5.1。我试图完成的是将一个变量传递给spark-submit命令，该命令将唯一地定义衍生的应用程序。我通过webservice从外部应用程序提交spark作业（我们在提供应用程序的端点上提供了dropwizard上的另一个简单Web层应用程序）。另一个web服务将返回给定标识符的操作状态。流程：Spark - 通过属性spark-submit

SUBMIT JOB: 
MyApp -> "/Dropwizard/submit-job?id=100" -> Dropwizard -> "spark-submit --conf=id=100" -> Spark 

GET STATUS 
MyApp -> "/Dropwizard/status?id=100" -> Dropwizard -> "this will get information from files that are created when application runs. Files will have id in their names"

问题是sparkContext.getConf().get("id");返回null。你可以给我一个线索如何使用--conf或放下一个想法如何解决问题？

来源

2016-01-20 Łukasz

回答

应当--conf id=100如图所示样品here

来源

2016-01-20 10:54:34

在当我运行'火花提交... --conf ID = 100'和使用'sparkContext.getConf（）。获得（ “ID”）'我得到一个错误消息'线程中的异常“main”java.util.NoSuchElementException：id' - 所以这个答案不适用于我。 –

Spark - 通过属性spark-submit

回答

相关问题