Beautifulsoup刮书目录

Question

for i in range(1,1000000): 

    page = urllib2.urlopen("http://www.palgrave.com/products/title.aspx?pid="+str(i)) 
    print "http://www.palgrave.com/products/title.aspx?pid="+str(i) 
    soup = BeautifulSoup(page) #retreive 

    books = soup.findAll("div",{"id":"Title"}) #process 

我需要爬遍整个目录为出版商。 我需要检索：

• 书图像
• 标题
• 版
• 出版商
• pubdate的
• PriceCurrency
• 约285 | 210
• 说明（一个Ajax标签内）

Answer 1

使用XPath从这些位置提取内容