我怎样才能得到当前SparkSession在

Question

我在main()函数创建一个会话代码的任何地方，像这样：

val sparkSession = SparkSession.builder.master("local[*]").appName("Simple Application").getOrCreate() 

现在，如果我要配置的应用程序或访问属性，我可以在同一个函数中使用本地变量sparkSession。

如果我想在同一个项目的其他地方访问此sparkSession，如project/module/.../.../xxx.scala，该怎么办？我该怎么办？

Answer 1

一旦会话创建（任何地方），你可以放心地使用：

SparkSession.builder().getOrCreate() 

为了得到（同）会议代码的任何地方，只要会话还活着。 Spark保持单个活动会话，因此除非停止或崩溃，否则您将获得相同的会话。

Answer 2

当SparkSession变量已被定义为

val sparkSession = SparkSession.builder.master("local[*]").appName("Simple Application").getOrCreate() 

这个变量是要point/refer到仅一个SparkSession作为其一个val。你可以随时通过不同的类别，方便他们存取以及

val newClassCall = new NewClass(sparkSession) 

现在你可以在新类中使用相同的sparkSession为好。