爬行程序意外死亡

Question

我面临爬行程序意外死亡的问题。

我使用scrapy 0.14，问题也存在于0.12中。

scrapyd日志显示的条目如下：进程死亡：exitstatus =无 蜘蛛日志不会显示蜘蛛关闭信息，如我的数据库状态所示。

有没有其他人面临类似的情况？我如何追踪这些过程消失的原因，任何想法， 建议？

Answer 1

我想我有类似的情况。

进程正在死亡的原因是，蜘蛛正在产生一个异常使得进程停止。

要找出异常，请查看.scrapy文件夹中某处的日志文件。对于每个已启动的搜寻器进程，scrapy都将创建一个包含作业ID的日志文件。