火花阅读json中的重复列

Question

我运行spark.read.json(json_file_path)在平面结构的json文件上。

我得到的错误信息：

Reference 'col' is ambiguous, could be: col#29582L, col#29632 

这是可能的，这是因为大小写不同的名称另一列：Col。如果我无法修改json数据，这怎么能解决？

Answer 1

参考R case of the problem并搜索配置。

我发现

spark.conf.set("spark.sql.caseSensitive", "true") 

从https://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html