20
我正在尝试在Python中编写Web代理。我们的目标是访问如下网址：http://proxyurl/http://anothersite.com/，并且像通常一样查看他的内容http://anothersite.com。我通过滥用请求库得到了相当不错的结果，但这不是请求框架的预期用途。我以前写过twisted的代理，但我不确定如何将其连接到我正在尝试执行的操作。这里就是我在那么远，如何在Python中编写Web代理
import os
import urlparse
import requests
import tornado.ioloop
import tornado.web
from tornado import template
ROOT = os.path.dirname(os.path.abspath(__file__))
path = lambda *a: os.path.join(ROOT, *a)
loader = template.Loader(path(ROOT, 'templates'))
class ProxyHandler(tornado.web.RequestHandler):
def get(self, slug):
if slug.startswith("http://") or slug.startswith("https://"):
if self.get_argument("start", None) == "true":
parsed = urlparse.urlparse(slug)
self.set_cookie("scheme", value=parsed.scheme)
self.set_cookie("netloc", value=parsed.netloc)
self.set_cookie("urlpath", value=parsed.path)
#external resource
else:
response = requests.get(slug)
headers = response.headers
if 'content-type' in headers:
self.set_header('Content-type', headers['content-type'])
if 'length' in headers:
self.set_header('length', headers['length'])
for block in response.iter_content(1024):
self.write(block)
self.finish()
return
else:
#absolute
if slug.startswith('/'):
slug = "{scheme}://{netloc}{original_slug}".format(
scheme=self.get_cookie('scheme'),
netloc=self.get_cookie('netloc'),
original_slug=slug,
)
#relative
else:
slug = "{scheme}://{netloc}{path}{original_slug}".format(
scheme=self.get_cookie('scheme'),
netloc=self.get_cookie('netloc'),
path=self.get_cookie('urlpath'),
original_slug=slug,
)
response = requests.get(slug)
#get the headers
headers = response.headers
#get doctype
doctype = None
if '<!doctype' in response.content.lower()[:9]:
doctype = response.content[:response.content.find('>')+1]
if 'content-type' in headers:
self.set_header('Content-type', headers['content-type'])
if 'length' in headers:
self.set_header('length', headers['length'])
self.write(response.content)
application = tornado.web.Application([
(r"/(.+)", ProxyHandler),
])
if __name__ == "__main__":
application.listen(8888)
tornado.ioloop.IOLoop.instance().start()
刚一说明，我设置cookie保存方案，netloc和urlpath如果有启动= true在查询字符串。这样，任何相对或绝对链接，然后命中代理使用该cookie来解析完整的网址。
通过此代码，如果您转到http://localhost:8888/http://espn.com/?start=true，您将看到ESPN的内容。但是，在下面的网站上根本不起作用：http://www.bottegaveneta.com/us/shop/。我的问题是，最好的方法是什么？目前我正在实施这个强大的方法还是有这样做的一些可怕的陷阱？如果这是正确的，为什么像我指出的某些网站根本不工作？
谢谢你的帮助。
Bottega Veneta不允许您直接访问资源。例如，尝试点击http://www.bottegaveneta.com/us/shop/css/bottegaveneta/form.css - 我得到一个HTML 404页面。 – 2013-05-14 02:29:40
我猜这是与HTTP Referrer有关。你也可以尝试设置。 – 2013-05-14 02:30:49
@Cole哦，你是指引用者？ （https://en.wikipedia.org/wiki/HTTP_referer#Origin_of_the_term_referer） – rakslice 2013-10-04 01:32:42