我在aws-lambda
中写了一个函数。该功能很简单。它只是从特定网站获取请求。urllib2的结果与网络浏览器的结果不同
python2中的Lambda函数如下所示。也包括import urllib2
。
def lambda_handler(event, context):
# TODO implement
url = "https://www.amazon.co.jp/s/field-keywords=4548967337259"
response = urllib2.urlopen(url)
#print response
return response.read()
我把返回值给我ruby on rails
服务器,并试图解析了必要的信息。
在网站上,标签和相关信息如下所示。
<a class="a-link-normal a-text-normal" target="_blank"
rel="noopener" href="https://www.amazon.co.jp/GOTHAM-
%E3%82%B5%E3%83%BC%E3%83%89-%E3%82%B7%E3%83%BC%E3%82%BA%E3%83%B3-
%E3%83%96%E3%83%AB%E3%83%BC%E3%83%AC%E3%82%A4-
%E3%82%B3%E3%83%B3%E3%83%97%E3%83%AA%E3%83%BC%E3%83%88-
%E3%83%9C%E3%83%83%E3%82%AF%E3%82%B9-Blu-ray/dp/B071K5VZTL/ref=sr_1_1?
ie=UTF8&qid=1505293516&sr=8-1&keywords=4548967337259">
但是,如果我拿response
和使用read()
方法来传输,它看起来像这样。
<a class=\"a-link-normal a-text-normal\" target=\"_blank\" rel=\"noopener\"
href=\"https://www.amazon.co.jp/GOTHAM-%E3%82%B5%E3%83%BC%E3%83%89-
%E3%82%B7%E3%83%BC%E3%82%BA%E3%83%B3-
%E3%83%96%E3%83%AB%E3%83%BC%E3%83%AC%E3%82%A4-
%E3%82%B3%E3%83%B3%E3%83%97%E3%83%AA%E3%83%BC%E3%83%88-
%E3%83%9C%E3%83%83%E3%82%AF%E3%82%B9-Blu-ray/dp/B071K5VZTL\">
为什么会发生这种情况,我该如何避免这种情况?
其实我想是这样response.json()
但无法作出json
形式完全。
你能解释一下用头,没有它的区别? –
@ jh.shin你可以“欺骗”服务器,认为你是一个Web浏览器。没有它似乎它会为您提供不同的内容。 –