安排scrapy蜘蛛每隔N分钟运行一次

Question

我需要帮助来安排每隔N分钟运行一次蜘蛛。早期我看到大多数人使用reactor.callLater和reactor.run来达到这个目的，但似乎现在没有可能使用这些功能。我怎样才能安排它programmaticaly？

def run_crawl(): 
    """ 
    Run a spider within Twisted. Once it completes, 
    wait 5 seconds and run another spider. 
    """ 
    runner = CrawlerRunner(get_project_settings()) 
    runner.crawl(SpiderA) 
    runner.crawl(SpiderB) 
    deferred = runner.join() 
    deferred.addCallback(reactor.callLater, 5, run_crawl) 
    return deferred 

run_crawl() 
reactor.run() 

这时我的爬虫程序由Windows任务调度程序调度，但我想以编程方式安排它。

Answer 1

你可以给一个尝试与名为schedule外部模块：
schedule github link

告诉我，如果它不适合您的需求。