Scrapy抓取问题

Question

我想从维基百科爬取，但结果没有返回任何东西。 我试着在IPython控制台中运行一个简单的查询来检查一个值，但它仍然没有返回任何值。

我已经试过这样：

sel.xpath('//div[@id="mw-content-text"]/table/tbody/tr[1]/td[1]/text()').extract()

Answer 1

这将是一个猜测，但一个受过教育的一个。 tbody是由浏览器插入的内容以及您在浏览器开发人员工具中看到的内容。但是，Scrapy是不是浏览器 - 从XPath表达式删除tbody：

sel.xpath('//div[@id="mw-content-text"]/table/tr[1]/td[1]/text()').extract()