Python多线程

Question

我需要从一个IP列表中提取所有的URL， 我写了这个python脚本，但我有多次提取相同的IP的问题（使用相同的IP创建更多的线程）。 任何人都可以改进我的解决方案使用多线程？

对不起，我的英语 感谢所有

import urllib2, os, re, sys, os, time, httplib, thread, argparse, random 

try: 
    ListaIP = open(sys.argv[1], "r").readlines() 
except(IOError): 
    print "Error: Check your IP list path\n" 
    sys.exit(1) 



def getIP(): 
    if len(ListaIP) != 0: 
     value = random.sample(ListaIP, 1) 
     ListaIP.remove(value[0]) 
     return value 
    else: 
     print "\nListaIPs sa terminat\n" 
     sys.exit(1) 

def extractURL(ip): 
    print ip + '\n' 
    page = urllib2.urlopen('http://sameip.org/ip/' + ip) 
    html = page.read() 
    links = re.findall(r'href=[\'"]?([^\'" >]+)', html) 
    outfile = open('2.log', 'a') 
    outfile.write("\n".join(links)) 
    outfile.close() 

def start(): 
    while True: 
     if len(ListaIP) != 0: 
      test = getIP() 
      IP = ''.join(test).replace('\n', '') 
      extractURL(IP) 
     else: 
      break 


for x in range(0, 10): 
    thread.start_new_thread(start,()) 

while 1: 
    pass 

Answer 1

使用threading.Lock。该锁应该是全局的，并在创建IP列表时在开始时创建。

lock.acquire在getIP()

和release它开始前你离开的方法。

你看到的是什么，线程1执行value=random.sample，然后线程2还执行value=random.sample以前线程1获取到remove。所以当线程2到达那里时，该项目仍然在列表中。 因此都线程有机会获得相同的IP。