Scrapy从文件中读取网址列表以进行刮取？

Question

我刚刚安装了scrapy，并遵循其工作原理简单的dmoz tutorial。我只是查找了python的基本文件处理，并试图让抓取工具从文件中读取URL的列表，但出现了一些错误。这可能是错误的，但我给了它一个镜头。请有人向我展示一个阅读URL列表到scrapy的例子吗？提前致谢。

from scrapy.spider import BaseSpider 

class DmozSpider(BaseSpider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 
    f = open("urls.txt") 
    start_urls = f 

    def parse(self, response): 
     filename = response.url.split("/")[-2] 
     open(filename, 'wb').write(response.body) 

Answer 1

你非常接近。

f = open("urls.txt") 
start_urls = [url.strip() for url in f.readlines()] 
f.close() 

...更好的仍然是使用上下文管理器，以确保文件的封闭预期：

with open("urls.txt", "rt") as f: 
    start_urls = [url.strip() for url in f.readlines()] 

Answer 2

如果Dmoz的预计只是在列表中文件名，你必须调用剥去线。否则，你会在每个URL的末尾得到一个'\ n'。在Python 2.7

class DmozSpider(BaseSpider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 
    start_urls = [l.strip() for l in open('urls.txt').readlines()] 

例

>>> open('urls.txt').readlines() 
['http://site.org\n', 'http://example.org\n', 'http://example.com/page\n'] 
>>> [l.strip() for l in open('urls.txt').readlines()] 
['http://site.org', 'http://example.org', 'http://example.com/page']