2011-06-28 37 views

回答

2

的问题是,HTTP缓存默认使用相对路径httpcache

这适用于通常从命令行运行蜘蛛,但在运行服务时不能运行蜘蛛。

解决的办法是将HTTPCACHE_DIR[docs]设置为绝对路径。

+0

ie:绝对路径在服务器上...所以是的,即使蜘蛛是一个客户端部署到服务器,客户端告诉scrapyd服务在服务器的文件系统放置缓存的位置。这个目录必须由scrapyd进程写入。 –

+0

仍然是一个相关的答案,但现在这个文档的链接是[this](https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-dir)。 – bartaelterman