如何基于索引页上的信息来抓取网页

Question

我想根据索引页上的数据或信息来编写抓取某些页面的蜘蛛。然后将结果存储在数据库中。

例如，让说，我想爬stackoverflow.com/questions/tagged/scrapy 我会去通过索引页面，如果这个问题是不是在我的数据库，那么我会保存回答次数在数据库，然后按照问题的链接并抓取该页面。

如果问题已经存在于数据库中，但答案数大于数据库中的问题：再次抓取该页。

如果问题已经在数据库中并且答案计数器是相同的：请跳过此问题。

目前我可以在索引页面上获得所有链接和答案数（在本例中）。 但我不知道如何让蜘蛛跟随回答计数问题页面的链接。

有没有办法用一个蜘蛛，而不是有两个蜘蛛要做到这一点，一个蜘蛛越来越索引页上的所有环节，与数据库中的数据进行比较，输出一个JSON或CSV文件，然后将其传递到另一个蜘蛛爬行问题页面？

Answer 1

只需使用BaseSpider即可。这样，你可以使所有的逻辑取决于你正在抓取的内容。我个人更喜欢BaseSpider，因为它可以让你更好地控制抓取过程。

蜘蛛应该是这个样子（这更多的是一种伪代码）：

from scrapy.selector import HtmlXPathSelector 
from scrapy.spider import BaseSpider 
from scrapy.http import Request 
from myproject.items import MyItem 

class StackOverflow(BaseSpider): 
    name = 'stackoverflow.com' 
    allowed_domains = ['stackoverflow.com'] 
    start_urls = ['http://stackoverflow.com/questions'] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 

     for question in hxs.select('//question-xpath'): 
      question_url = question.select('./question-url') 
      answer_count = question.select('./answer-count-xpath') 
      # you'll have to write the xpaths and db logic yourself 
      if get_db_answer_count(question_url) != answer_count[0]: 
       yield Request(question_url, callback = self.parse_question) 

    def parse_question(self, response): 
     insert_question_and_answers_into_db 
     pass 

Answer 2

这是CrawlSpider和规则所做的事情（请务必查看示例）。您可以首先从索引网站获取信息（尽管您的方法会计算答案在某种程度上存在缺陷：如果用户删除了帖子并添加了新帖子会如何）并决定每个子页面，如果您想获取其信息或不。

把简单：在索引页上使用蜘蛛，并按照其问题。当提出问题时，请检查您是否想获取信息或drop/ignore the question。