Scrapy正在下载文件错误

我正在使用Scrapy中的文件管道从http://opensubtitles.org下载字幕文件。Scrapy正在下载文件错误

我已经得到了所有http://dl.opensubtitles.org链接的列表，我的蜘蛛遵循这些链接并将网址发送到管道。

它的工作开始，我可以下载第一个〜100个文件没有任何问题。

然而，然后周围的链接似乎创建错误：

2016-06-09 11:44:02 [scrapy] WARNING: File (code: 301): Error downloading file from http://dl.opensubtitles.org/en/download/vrf-108d030f/sub/24617> referred in

是否有一些与我的代码？

这些都是在我的设置：

ITEM_PIPELINES = {'scrapy.pipelines.files.FilesPipeline': 1} 

FILES_STORE = 'C:/Users/Rohan/Documents/Fitroom/subtitles/subFiles'

这是我的管道：

class SubtitlesPipeline(object): 
    def process_item(self, item, spider): 
     return item

谢谢！

来源

2016-06-09 ro.singh

此错误可能是由于下载超时而发生的，因为文件可能更大。增加下载时间。试试这个setting.py文件

DOWNLOAD_TIMEOUT = 500

来源

2016-06-10 11:00:35

Scrapy正在下载文件错误

回答

相关问题