Python 2与Spark 2.0

Question

我们如何使用Spark 2.0为Python 2/3创建Spark服务。每当我创建一个新的服务并将它与一个python笔记本关联起来时，它的Python 2和Spark 1.6都会被关联。为什么不能看到我在数据砖免费版中创建的服务的配置？我想使用Spark 2.0中引入的SparkSession api来创建您的spark会话变量，因此是个问题。

Answer 1

您可以选择Python和Spark版本：

a。在数据科学经验中创建新笔记本：

DSX `Project` --> Overview--> `+ add notebooks` --> `Choose the language` (Python2/R/Scala/Python3) and Spark version (1.6/2.0/2.1). 

b。更改现有笔记本电脑的内核：

From any running notebook, on the notebook menu choose `Kernel` and then choose the language and Spark version combination of your choice. 

Answer 2

你看不到你正在创建的服务的配置，因为你没有创建与自己配置的服务。 Bluemix和Data Science Experience中的Apache Spark as a Service实例正在获取共享集群中的执行插槽。该共享集群的配置由IBM管理。

实例的Jupyter Notebook服务器针对语言和Spark版本的每种受支持组合提供内核规格。要将笔记本切换到其他组合，请选择“内核 - >更改内核 - >（不管）”。或者在创建笔记本时单独选择语言和Spark版本。