在Scrapy类中定义其他方法

Question

如何执行Scrapy类以及如何将其他方法添加到蜘蛛类中？

例如，从文档：

import scrapy 

class DmozSpider(scrapy.Spider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 
    start_urls = [ 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
    ] 

    def parse(self, response): 
     filename = response.url.split("/")[-2] + '.html' 
     with open(filename, 'wb') as f: 
      f.write(response.body) 

如果我想定义查询数据库或其他什么东西的一些方法，我怎么可能去有关，为什么？

Answer 1

我们来看看下面的使用案例 - 获取网址从数据库中抓取。为此，您需要使用start_requests() method而不是start_urls。

示例代码（直接使用MySQLdb驱动程序）：

import MySQLdb 
import scrapy 

class DmozSpider(scrapy.Spider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 

    def start_requests(self): 
     db = MySQLdb.connect(host="host", user="user" ...) 
     cursor = db.cursor() 

     cursor.execute("SELECT url from url_table") 
     requests = [scrapy.Request(url=row[0]) for row in cursor.fetchall()] 

     cursor.close() 

     return requests 

    def parse(self, response): 
     filename = response.url.split("/")[-2] + '.html' 
     with open(filename, 'wb') as f: 
      f.write(response.body)