使用scrapy抓取网站每x分钟/秒

我使用Scrapy使用命令“scrapy抓取帖子”来抓取博客。我需要每5分钟检查一次新帖子。我该怎么办？使用scrapy抓取网站每x分钟/秒

在此先感谢。

？ –

@ kiran.koduru windows :) – user6712306

@ user6712306这不是代码共享网站plz在你需要帮助之后放上你的代码然后自由提问 –

编辑您的/etc/crontab文件以包含此行。它会设置脚本每5分钟运行一次。

*/5 * * * * unix-username cd /your/path/to/scrapy-project/;scrapy crawl posts

对于windows，你可以看看答案是否使用UNIX或者是你在Windows中提到here

2016-11-21 17:17:56

回答