pyspark数据框的访问列带点“。”

包含点的pyspark数据帧（例如“id.orig_h”）将不允许groupby uppon，除非首先被withColumnRenamed重命名。有没有解决方法？ "`a.b`"似乎没有解决它。pyspark数据框的访问列带点“。”

你可以分享你正在使用的代码组吗？ –

在我pyspark壳，下面的代码片段正在努力：

from pyspark.sql.functions import * 
myCol = col("`id.orig_h`")  
result = df.groupBy(myCol).agg(...)

和

myCol = df["`id.orig_h`"] 
result = df.groupBy(myCol).agg(...)

我希望它能帮助。

2016-05-16 23:31:48

谢谢@Daniel de Paula的回答。你能确认使用''groupby（“'id.orig_h'”）''不起作用吗？ –

@HananShteingart，对于我来说，下面的代码有效：'df.groupBy（“\'id.orig_h \'”）。agg（...）' –

对我来说它并不是。你可以请添加更多的列从ID开始。？我使用pyspark 1.6 –

回答