cloudant火花连接器创建嵌套的JSON模式重复的列名

Question

我用下面的JSON模式在我cloudant数据库：

{... 
departureWeather:{ 
    temp:30, 
    otherfields:xyz 
}, 
arrivalWeather:{ 
    temp:45, 
    otherfields: abc 
} 
... 
} 

我然后使用cloudant火花的数据加载到数据帧连接器。如果我尝试选择这样的字段：

df.select("departureWeather.temp", "arrivalWeather.temp") 

我最终得到一个数据帧，它有两个同名的列，例如温度。它看起来像Spark数据源框架只使用最后一部分来压扁名称。

是否有很容易重复删除列名？

Answer 1

可以使用别名：

df.select(
    col("departureWeather.temp").alias("departure_temp"), 
    col("arrivalWeather.temp").alias("arrival_temp") 
)