如何等待页面加载完成？

我试图从http://www.neimanmarcus.com/Stuart-Weitzman-Reserve-Suede-Over-the-Knee-Boot-Black/prod179890262/p.prod 如何等待页面加载完成？

我尝试下面的代码获取可用的引导大小（在$（“option.addedOption”）），但得到了大小之前它总是返回。

# config.url = 'http://www.neimanmarcus.com/Stuart-Weitzman-Reserve-Suede-Over-the-Knee-Boot-Black/prod179890262/p.prod' 
import urllib2 
import requests 
import config 
import time 
from lxml.cssselect import CSSSelector 
from lxml.html import fromstring 

print config.url 
headers = { 
    "Host": "www.neimanmarcus.com", 
    "Connection": "keep-alive", 
    "Content-Length": 106, 
    "Pragma": "no-cache", 
    "Cache-Control": "no-cache", 
    "Accept": "*/*", 
    "Origin": "http://www.neimanmarcus.com", 
    "X-Requested-With": "XMLHttpRequest", 
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36", 
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8", 
    "Referer": "http://www.neimanmarcus.com/Stuart-Weitzman-Reserve-Suede-Over-the-Knee-Boot-Black/prod179890262/p.prod", 
    "Accept-Language": "en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4,fr;q=0.2,cs;q=0.2,zh-TW;q=0.2" 
} 
request = urllib2.Request(config.url, headers=headers) 
html = urllib2.urlopen(request) 
time.sleep(10) 
html = html.read() 
print html 
html = fromstring(html) 
sel = CSSSelector('option.addedOption') 
try: 
    options = sel(html) 
    print options 
except Exception as e: 
    print e

我发现尺寸以请求“http://www.neimanmarcus.com/product.service”（实际上是头根据该请求的请求报头创建）得到。

如何获取整个页面信息（尤其是启动大小）？

我也尝试直接请求http://www.neimanmarcus.com/product.service，但也失败了。

来源

2016-05-10 Cuero

正如我理解正确的话：不管代码多久睡它仍然没有加载鞋的大小？

由于您没有使用无头浏览器，因此您不会在请求的页面上执行JavaScript。尝试使用像PhantomJS这样的无头浏览器。这里列出更多headless browsers。

这里有一种方法如何使用PhantomJS in Python。

来源

2016-05-10 12:45:34 TehSphinX

谢谢。我会稍后再尝试。 – Cuero

这样使用它：的

with urllib2.urlopen(request) as response: 
    html = response.read() 
    print html 
    html = fromstring(html) 
    sel = CSSSelector('option.addedOption') 
    try: 
     options = sel(html) 
     print options 
    except Exception as e: 
     print e

代替

来源

2016-05-10 12:25:55

如何等待页面加载完成？

回答

相关问题