运行scrapy蜘蛛与蟒蛇

Question

你好我想完成在发现教程：

https://doc.scrapy.org/en/latest/intro/tutorial.html

我已经完成了所有上升到“我们的第一个蜘蛛侠”中的步骤没有错误但是当我尝试运行蜘蛛我收到以下错误消息，当我运行“scrapy爬引号”：

File "//anaconda/lib/python2.7/site-packages/scrapy/spiderloader.py", line 43, in load raise KeyError("Spider not found: {}".format(spider_name)) KeyError: 'Spider not found: quotes'

所以，出于某种原因，蜘蛛管理器没有找到蜘蛛。但是，当我直接导航到蜘蛛目录时，我可以毫无错误地找到蜘蛛。

Answer 1

的Scrapy命令行选项“爬行”需要一个Scrapy项目，以便找到指定的蜘蛛，并开始抓取（见文档here，其中“要求项目：是”列）。

实际上，Scrapy将无法知道您的系统上所有Scrapy蜘蛛的位置，选择一个并运行它。对于需要项目的选项，您必须位于Scrapy项目的目录中，该目录中将包含文件scrapy.cfg。

如果你不想使用“抓取”，你可以使用“runspider”来代替，并指定包含蜘蛛的Python文件。