urllib2.urlopen无法获取图像，但浏览器可以

Question

存在与gif图像的链接，但urllib2无法下载它。

import urllib.request as urllib2 
uri = 'http://ums.adtechjp.com/mapuser?providerid=1074;userid=AapfqIzytwl7ks8AA_qiU_BNUs8AAAFYqnZh4Q' 
try: 
    req = urllib2.Request(uri, headers={ 'User-Agent': 'Mozilla/5.0' }) 
    file = urllib2.urlopen(req) 
except urllib2.HTTPError as err: 
    print('HTTP error!!!') 
    file = err 
    print(err.code) 
except urllib2.URLError as err: 
    print('URL error!!!') 
    print(err.reason) 
    return 

data = file.read(1024) 
print(data) 

脚本结束后，数据仍为空。为什么会发生？没有HTTPError，我可以在浏览器控制台中看到有一个有效的gif，并且HTTP responce的状态为200 OK。谢谢。

Answer 1

您应该检查浏览器发送到服务器的所有标题。

此页面需要两个头：User-Agent和Cookie

如果您在Chrome或Firefox使用DevTools你会看到，一般的浏览器（如果没有Cookie还）接收与cookie的第一反应和302 Moved Temporarily其重定向到相同的网址，但与cookie，然后它会收到图像。

你可以尝试我的cookie，也许它收到图像。通常你必须做两个请求 - 第一个获取cookie，第二个（使用cookie）获取图像。

import urllib.request as urllib2 

uri = 'http://ums.adtechjp.com/mapuser?providerid=1074;userid=AapfqIzytwl7ks8AA_qiU_BNUs8AAAFYqnZh4Q' 

headers = { 
    'User-Agent': 'Mozilla/5.0', 
    'Cookie': 'JEB2=583077046E650E2495131DE8FD2F1371', 
} 

try: 
    req = urllib2.Request(uri, headers=headers) 
    f = urllib2.urlopen(req) 
except urllib2.HTTPError as err: 
    print('HTTP error!!!') 
    f = err 
    print(err.code) 
except urllib2.URLError as err: 
    print('URL error!!!') 
    print(err.reason) 

data = f.read(1024) 
print(data) 

如果使用requests模块，然后它会自动做的一切，你将不需要两个请求。

import requests 

uri = 'http://ums.adtechjp.com/mapuser?providerid=1074;userid=AapfqIzytwl7ks8AA_qiU_BNUs8AAAFYqnZh4Q' 

headers = { 
    'User-Agent': 'Mozilla/5.0', 
} 

r = requests.get(uri, headers=headers) 

print(r.content)