在Apache Spark中创建sqlContext时出错

Question

我正在使用Apache Spark并在Ipython笔记本上运行它。 我想将常规数据框转换为Spark DataFrame。为此，我需要sqlContext。当我使用它时，我得到一个错误。

错误说：

IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':" 

我已经看过了多种资源，但我没有能够解决这个问题。

Answer 1

SQLContext用于是Spark 1.x中SQL功能的入口点;在Spark 2中，它已被SparkSession（documentation）取代。所以，这里是2.2版本，这是您要根据您的屏幕截图使用一个初始化星火的正确方法：

from pyspark import SparkContext, SparkConf 
from pyspark.sql import SparkSession 
conf = SparkConf() 
sc = SparkContext(conf=conf) 
spark = SparkSession.builder.config(conf=conf).getOrCreate() 

见documentation上星火SQL进一步的应用实例。