pyspark 1.3.0保存数据帧到HIVE表

工作，我有DF：

DF.show(3) 

ID    Date  Hour  TimeInCluster Cluster Xcluster Ycluster 

25342438156 2012-11-30 15:00:00 26   T  130270 165620 

25342438156 2012-11-30 16:00:00 86   D  136850 177070 

25342438156 2012-11-30 17:00:00 35   D  136850 177070

我正在特林保存DF到不存在的配置单表

我该怎么做？

谢谢

我我的代码更改为：

sqlContext = HiveContext(sc) 

FinalDf.write().mode(SaveMode.Overwrite).saveAsTable("myDB.sixuserstablediary")

，但我得到这个错误

py4j.protocol.Py4JJavaError: An error occurred while calling o280.apply. 
: org.apache.spark.sql.AnalysisException: Cannot resolve column name "write" among (IMSI, Date, Hour, TimeInCluster, Cluster, Xcluster, Ycluster); 
     at org.apache.spark.sql.DataFrame$$anonfun$resolve$1.apply(DataFrame.scala:162) 
     at org.apache.spark.sql.DataFrame$$anonfun$resolve$1.apply(DataFrame.scala:162) 
     at scala.Option.getOrElse(Option.scala:120) 
     at org.apache.spark.sql.DataFrame.resolve(DataFrame.scala:161) 
     at org.apache.spark.sql.DataFrame.col(DataFrame.scala:436) 
     at org.apache.spark.sql.DataFrame.apply(DataFrame.scala:426) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:497) 
     at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231) 
     at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:379) 
     at py4j.Gateway.invoke(Gateway.java:259) 
     at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133) 
     at py4j.commands.CallCommand.execute(CallCommand.java:79) 
     at py4j.GatewayConnection.run(GatewayConnection.java:207) 
     at java.lang.Thread.run(Thread.java:745)

来源

2017-01-20 maori

请参考以下链接： - http://stackoverflow.com/questions/30664008/how-to-save-dataframe-directly-to-hive –

我试过，但有错误我的代码： FinalDf.registerTempTable（ “mytempTable”） sqlContext.sql（ “创建表sixuserstablediary为SELECT * FROM mytempTable”） – maori

错误： sqlContext.sql（ “创建表sixuserstablediary为SELECT * FROM mytempTable”）; 文件“/opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/spark/python/pyspark/sql/context.py”，第528行，在sql 中返回DataFrame（ self._ssql_ctx.sql（sqlQuery），self）文件“/opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/spark/python/lib/py4j-0.8.2.1 -src.zip/py4j/java_gateway.py“，第538行，在__call__中文件”/opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/spark/python/lib /py4j-0.8.2.1-src.zip/py4j/protocol.py“，第300行，在get_return_value – maori

您需要使用星火HiveContext

进口星火HiveContex

from pyspark.sql import HiveContext 
sqlContext = HiveContext(sc)

从数据框中创建一个临时表，然后通过从临时表中选择数据插入配置单元表。

// Register the dataframe 
    df.registerTempTable("tbl_tmp") 

    sqlContext.sql("create table default.tbl_hive_data as select * from tbl_tmp")

来源

2017-01-20 14:10:21

pyspark 1.3.0保存数据帧到HIVE表

回答

相关问题