pyspark列AGG输出分配名称

Question

说我有这样一个数据帧：

import pyspark 
import pyspark.sql.functions as sf 
import pyspark.sql.types as sparktypes 
import datetime 

sc = pyspark.SparkContext(appName="test") 
sqlcontext = pyspark.SQLContext(sc) 

rdd = sc.parallelize([('a',datetime.datetime(2014, 1, 9, 0, 0)), 
         ('b',datetime.datetime(2014, 1, 27, 0, 0)), 
         ('c',datetime.datetime(2014, 1, 31, 0, 0))]) 
testdf = sqlcontext.createDataFrame(rdd, ["id", "date"]) 

print(testdf.show()) 
print(testdf.printSchema()) 

给出了测试数据框：

+---+--------------------+ 
| id|    date| 
+---+--------------------+ 
| a|2014-01-09 00:00:...| 
| b|2014-01-27 00:00:...| 
| c|2014-01-31 00:00:...| 
+---+--------------------+ 


root 
|-- id: string (nullable = true) 
|-- date: timestamp (nullable = true) 

而且我想要得到的日期列的最大值：

max_date = testdf.agg(sf.max(sf.col('date'))).collect() 
print(max_date) 

给出：

[Row(max(date)=datetime.datetime(2014, 1, 31, 0, 0))] 

如何在原有的操作应用自定义名称本身出现的，而不是自动分配max(date)，说max_date，这样我可以为max_date[0]['max_date']而不是max_date[0][0]或max_date[0]['max(date)']访问的价值，也有访问这个值的更好的办法，一些Row（）的属性？

Answer 1

你的意思是？

max_date = testdf.agg(sf.max(sf.col('date')).alias("newName")).collect() 

至于更好的方式来访问它。不是真的。收集带来行的列表，你需要告诉你需要这样你就一起去哪个列：

max_date[0]['newName'] 

你不能得到比这更短...