2015-11-01 38 views
0

我将拼接空表保存为空时出现问题。在这种情况下,架构不会被保留,并且之后不能读取该表。将空数据帧保存到拼花地板

myDF.write.format("parquet").partitionBy("part_id").save("aa") 

我的SQL查询依靠同一套表,并在表的情况下是空的,为此不能读取查询不起作用。 有没有办法用元数据保存空表?

与问候, 迈克尔

+1

似乎工作得很好。你能提供一个可重复的例子,包括有关Spark版本的信息吗? – zero323

+0

您是否可以在之后加载元数据?我正在使用spark 1.5.0。我可以用1.5.1试试这个.... – smikesh

+0

看起来像。你确定你的类型没问题吗?有可能得到空序列没有正确序列化/反序列化。 – zero323

回答

0

我已删除partitionBy呼叫,在此之后,元数据被正确保存