过滤基于另一个数据帧中的星火

Question

我有我试图找到所有的名字

val users = df.select("name").distinct 
    val final_status = users.map(t => 
    { 
    val _name = t.getString(0) 
    val record = df.where(col("name") === _name) 
    val lastRecord = userRecord.sort(desc("date")).first 
    lastRecord 
    }) 

这工作与去年地位列

date: timestamp 
status : String 
name : String 

一个数据帧DF一个数据帧阵列，但它与火花数据帧投掷java.lang.NullPointerException

更新1：使用removeDuplicates

df.sort(desc("date")).removeDuplicates("name") 

这是一个很好的解决方案吗？

Answer 1

这

df.sort(desc("date")).removeDuplicates("name") 

不能保证正常工作。在回答这个问题的解决方案应该为你

spark: How to do a dropDuplicates on a dataframe while keeping the highest timestamped row