1
当我尝试使用HTTPCACHE与scrapyd我得到以下错误:部署scrapy项目scrapyd时HTTPCACHE不工作
[scrapy] WARNING: Disabled Httpcache Middlware: unable to find scrapy.cfg file to infer project data dir
当我尝试使用HTTPCACHE与scrapyd我得到以下错误:部署scrapy项目scrapyd时HTTPCACHE不工作
[scrapy] WARNING: Disabled Httpcache Middlware: unable to find scrapy.cfg file to infer project data dir
ie:绝对路径在服务器上...所以是的,即使蜘蛛是一个客户端部署到服务器,客户端告诉scrapyd服务在服务器的文件系统放置缓存的位置。这个目录必须由scrapyd进程写入。 –
仍然是一个相关的答案,但现在这个文档的链接是[this](https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-dir)。 – bartaelterman