2016-09-21 35 views
0

我在Linux服务器上运行spark 2.0和zeppelin-0.6.1-bin-all。默认的spark笔记本运行得很好,但是当我尝试使用sqlContext在pyspark中创建并运行新的笔记本时,出现错误“py4j.Py4JException:Method createDataFrame([java.util.ArrayList,java.util.ArrayList,空])不存在 “Spark 2.0与Zeppelin 0.6.1 - SQLContext不可用

我试图运行一个简单的代码,

%pyspark 

wordsDF = sqlContext.createDataFrame([('cat',), ('elephant',), ('rat',), ('rat',), ('cat',)], ['word']) 
wordsDF.show() 
print type(wordsDF) 
wordsDF.printSchema() 

我得到的错误,

回溯(最后最近一次调用): 文件”/ tmp目录/ zeppelin_pyspark- 7635635698598314374.py“,266行, raise异常(traceback.format_exc()) Excep回溯(最近一次调用最后一次): 文件“/tmp/zeppelin_pyspark-7635635698598314374.py”,第259行,在 exec(代码) 文件“”,第1行,在 文件“/spark/spark-2.0 .0-bin-hadoop2.7/python/pyspark/sql/context.py“,第299行,在createDataFrame中 返回self.sparkSession.createDataFrame(data,schema,samplingRatio) 文件”/spark/spark-2.0.0 -bin-hadoop2.7/python/lib/py4j-0.10.1-src.zip/py4j/java_gateway.py“,第933行,在中调用 answer,self.gateway_client,self.target_id,self.name) 文件“/spark/spark-2.0.0-bin-hadoop2.7/python/pyspark/sql/utils.py”,行63,在装饰 返回f(* a,** kw) 文件“/ spark /spark-2.0.0-bin-hadoop2 .python/lib/py4j-0.10.1-src.zip/py4j/protocol.py“,第316行,在get_return_value中 格式(target_id,”。“,name,value)) Py4JError:发生错误调用o48.createDataFrame。 Trace: py4j.Py4JException:方法createDataFrame([类java.util.ArrayList,类java.util.ArrayList,null])不存在 at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) at py4j在py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:128) at py4j.commands.CallCommand(在py4j.Gateway.invoke(Gateway.java:272) 处).reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326) .execute(CallCommand.java:79) 在py4j.GatewayConnection.run(GatewayConnection.java:211) 在java.lang.Thread.run(Thread.java:745)

当我尝试同样的代码“sqlContext = SQLContext(sc)”它工作的理由很好。

我试着设置解释器“zeppelin.spark.useHiveContext false”的配置,但它没有奏效。

我必须明显缺少一些东西,因为这是一个简单的操作。如果还有其他配置需要设置或缺少什么,请咨询。

我测试了与Zeppelin 0.6.0相同的一段代码,它工作正常。

回答

0

SparkSession是Spark 2.0.0的默认入口点,它被映射到Zeppelin 0.6.1中的spark(因为它在Spark shell中)。你有没有试过spark.createDataFrame(...)

相关问题