cron无法运行Scrapy

Question

crontab中的代码0 * * * * cd /home/scrapy/foo/ && scrapy crawl foo >> /var/log/foo.log

无法运行爬网，因为我的日志文件中没有日志。 我使用0 * * * * cd /home/scrapy/foo/ && pwd >> /var/log/foo.log进行测试，它在日志中回显'/ home/scrapy/foo'。

我也试过PATH=/usr/local/bin和PATH=/usr/bin，但没有成功。

我可以通过在命令行中键入cd /home/scrapy/foo/ && scrapy crawl foo来手动运行它。

有什么想法？谢谢。

Answer 1

问题解决了。而不是像root那样运行爬网，请使用crontab -u user -e为user创建一个crontab，并以user运行。

Answer 2

您应该使用日志模块（https://docs.python.org/2/library/logging.html）不重定向。（如果你使用记录模块，您可以处理日志路径和日志级别）

，并尝试在crontab中这段代码

0 * * * * /usr/bin/python2.7 /your/file/path/filename 

（或scrapy ..任何你想要的）