删除列表中的重复项目

我试过这段代码：

for bresult in response.css(LIST_SELECTOR): 
    NAME_SELECTOR = 'h2 a ::attr(href)' 
    yield { 
     'name': bresult.css(NAME_SELECTOR).extract_first(), 
    } 
                        b_result_list.append(bresult.css(NAME_SELECTOR).extract_first()) 

    #set b_result_list to SET to remove dups, then change back to LIST 
    set(b_result_list) 
    list(set(b_result_list)) 
for brl in b_result_list: 
    print("brl: {}".format(brl))

此打印出：

brl: https://facebook.site.com/users/login 
brl: https://facebook.site.com/users 
brl: https://facebook.site.com/users/login

当我只需要：

brl: https://facebook.site.com/users/login 
brl: https://facebook.site.com/users

什么我错在这里做什么？

谢谢！

来源

2017-01-11 Jshee

你丢弃的结果，当你需要保存它... b_result_list实际上从未改变...所以你只是遍历原始列表。而不是保存set操作的结果

b_result_list = list(set(b_result_list))

（注意：set■不要维持秩序）如果你想维持秩序，uniqueify

来源

2017-01-11 23:57:23

哇，傻我。我一定累了。谢谢@Joran！我尽快接受 – Jshee

这里，没有必要输入'set'回到'list' –

@MoinuddinQuadri，这可能是真的......但我并不想作出暗示 –

，你可以这样做：

>>> li 
['1', '1', '2', '2', '3', '3', '3', '3', '1', '1', '4', '5', '4', '6', '6'] 
>>> seen=set() 
>>> [e for e in li if not (e in seen or seen.add(e))] 
['1', '2', '3', '4', '5', '6']

或者，您可以使用OrderedDict的按键：

>>> from collections import OrderedDict 
>>> OrderedDict([(k, None) for k in li]).keys() 
['1', '2', '3', '4', '5', '6']

B单独一组可能会大大改变原始列表的顺序：

>>> list(set(li)) 
['1', '3', '2', '5', '4', '6']

来源

2017-01-12 00:39:35 dawg

删除列表中的重复项目

回答

相关问题