如何将sql表转换为pyspark/python数据结构并返回到databricks笔记本中的sql

Question

我正在数据库上运行sql笔记本。我想分析一张有5亿条记录的表格。我可以对数据运行简单的sql查询。但是，我需要从日期更改日期列类型。

不幸的是，update/alter语句似乎并没有被sparkSQL支持，所以看起来我无法修改表中的数据。

什么是一行代码，可以让我在下一个单元格中将SQL表转换为python数据结构（在pyspark中）？ 然后我可以修改该文件并将其返回给SQL。

Answer 1

dataFrame = sqlContext.sql('select * from myTable')