1
我有一长串需要刮取和提取数据的URL，我想用scrapy。用scrapy刮一页
说我有一个扭曲的反应器装置和我创造蜘蛛
runner = CrawlerRunner(scrapy_settings)
d = runner.crawl(spider_cls)
有没有一种方法可以让我发送URL蜘蛛所以它会处理它们？
A
回答
1
的crawl() method可以采取额外的参数：
d = runner.crawl(spider_cls, start_urls=["url"])
相关问题
- 1. Scrapy：刮网页上的“下一个”结果使用scrapy
- 2. Scrapy刮刀不刮过第1页
- 3. 递归刮Web页面Scrapy
- 4. 刮多个页面Scrapy
- 5. 如何刮scrapy使用scrapy
- 6. 试图刮Scrapy使用Scrapy
- 7. Scrapy - 在一个scrapy脚本中刮去不同的网页
- 8. Scrapy爬行但不刮刮
- 9. 刮scrapy论坛与scrapy
- 10. Scrapy RSS刮板
- 11. XPath/Scrapy刮DOCTYPE
- 12. Scrapy - 递归地刮到第三页
- 13. Python和/或scrapy刮AJAX网页
- 14. 用Scrapy刮掉MSN新闻
- 15. 刮递归使用Scrapy
- 16. 用Scrapy递归刮Craigslist
- 17. Scrapy Python Craigslist刮刀
- 18. Scrapy CrawlSpider重试刮
- 19. Scrapy刮板问题
- 20. Scrapy - 按日期刮刮链接
- 21. 刮使用Scrapy使用从列表
- 22. Scrapy不刮整个文本
- 23. Scrapy刮掉谷歌分析
- 24. Scrapy不能刮网站
- 25. Scrapy抓取但不会刮
- 26. 卡住刮特定表scrapy
- 27. scrapy的数据刮取
- 28. 刮图像，空响应[scrapy]
- 29. Scrapy - 抓取和刮网站
- 30. Scrapy不刮整个网站
有没有办法重用蜘蛛？为了避免在获取新网址时再次创建它？ – AlexV
@AlexV这是一个有趣的问题！你能否创建一个单独的问题提供所有必要的细节？谢谢！ – alecxe