如何从这些网络日志中删除重复行

Question

我目前正在分析一些Apache网络日志。一些行包含重复项（不完整的重复项，因为日期时间可能相差几秒），如下图所示。我主要在Spark中使用SQL。我只想保留一个。

See Image here

Answer 1

您可以在SQL查询中使用group by命令，例如：

select * from table where x = y group by x_column 

Answer 2

可以使用“dropDuplicates”方法通过查询内，以便移除重复的代替的基团。

'weblogs_filter_bekijk = sqlContext.sql("select endpoint from basetable5 where ip_address = '91.74.184.68'").dropDuplicates' 

这应该对您有所帮助。您可以参考下面的链接以获取此方法的详细说明。

https://spark.apache.org/docs/1.5.1/api/java/org/apache/spark/sql/DataFrame.html