scrapy创建简单规则引擎

Question

我使用scrapy来解析htmls。

def get_scripts(self, response): 

    items = response.css('ul#top-menu').css('a::text').extract() 
    if items: 
     self.write_file(response.meta['item'],items)   
    else: 
     items = response.css('ul.menu').css('a::text').extract() 
     if items: 
      self.write_file(response.meta['item'],items) 

     else: 
      items = response.css('ul.nav').css('a::text').extract() 
      self.write_file(response.meta['item'],items) 

现在我想把所有的逻辑放在一个数组中。像

logicArr=['response.css('ul#top-menu').css('a::text').extract()','response.css('ul.menu').css('a::text').extract()','response.css('ul.nav').css('a::text').extract()'] 

然后遍历这个数组，并选择每个逻辑并执行它。基本上我有无限数量的逻辑，所以我不能在if/else块中写入所有这些。我想要的是这样的。

for logic in logicArr: 
      items=execute(logic) 
      if items: 
       self.write_items_to_file() 
       break 

Answer 1

for logic in logicArr: 
    items=exec logic 
    if items: 
     self.write_items_to_file() 
     break