0
我将拼接空表保存为空时出现问题。在这种情况下,架构不会被保留,并且之后不能读取该表。将空数据帧保存到拼花地板
myDF.write.format("parquet").partitionBy("part_id").save("aa")
我的SQL查询依靠同一套表,并在表的情况下是空的,为此不能读取查询不起作用。 有没有办法用元数据保存空表?
与问候, 迈克尔
我将拼接空表保存为空时出现问题。在这种情况下,架构不会被保留,并且之后不能读取该表。将空数据帧保存到拼花地板
myDF.write.format("parquet").partitionBy("part_id").save("aa")
我的SQL查询依靠同一套表,并在表的情况下是空的,为此不能读取查询不起作用。 有没有办法用元数据保存空表?
与问候, 迈克尔
我已删除partitionBy呼叫,在此之后,元数据被正确保存
似乎工作得很好。你能提供一个可重复的例子,包括有关Spark版本的信息吗? – zero323
您是否可以在之后加载元数据?我正在使用spark 1.5.0。我可以用1.5.1试试这个.... – smikesh
看起来像。你确定你的类型没问题吗?有可能得到空序列没有正确序列化/反序列化。 – zero323