Python程序删除行中的重复条目

Question

我有以下函数构建用于对行进行排序，然后每行将行中的内容排序为数字值。

线路是这样的：

67:1 45:1 67:1 89:1 
31:1 89:5 45:1 23:1 

代码：

with open("SVM/svm-pos-train.txt") as f, open("SVM/svm-pos-train2.txt", 'w') as out: 
       for line in f: 
        line = line.split() 
        line.sort(key = lambda x: int(x.split(':')[0])) 
        out.write(" ".join(line) + '\n') 

如何修改这个让也从当前行删除重复的，就像这样：

45:1 67:1 89:1 
23:1 31:1 45:1 89:1 

我一直在搜索和试用/（很多）错误，但没有运气。

Answer 1

使用set

line = line.split() 
line = list(set(line)) 

set返回的独特元素的未有序集合，然后将其转换回列表，然后对列表进行排序。

编辑：

line = line.split() 
line = list(set(line)) 
out.write(" ".join(sorted(line, x: (int(x.split(':')[0]), int(x.split(':')[1])))) + '\n') 

Answer 2

希望这是有帮助的：

#!/usr/bin/python 

with open("d1.txt") as f, open("d2.txt", 'w') as out: 
    for line in f: 
     fields = line.split() 
     set_ = set(fields) 
     list_ = list(set_) 
     list_.sort() 
     out.write(" ".join(list_) + '\n')