2016-08-30 35 views
1

我可以看到如何配置SparkConf创建流媒体应用程序(see hereSnappyData - 配置数据流作业,火花设置

我认为我能为类似于流媒体应用程序中的数据流作业,通过SnappyStreamingContext配置SparkConf时。假设我在流式作业中获得了SparkConf的句柄并修改了一些设置。这些设置是否仅适用于此流式作业或者这是所有作业的全局配置更新?

谢谢!

回答

1

是的,您可以通过SnappyStreamingContext配置SparkConf进行流式作业,它与Spark流式配置相同。由于SparkConf是全局配置,它适用于流应用程序中的所有作业。我认为Spark在启动应用程序后不允许您更改SparkConf。