我能够从脚本运行scrapy蜘蛛。但我想以json格式将输出存储在特定的文件(比如output.json)中。我做了大量的研究&也尝试从设置覆盖FEED_URI & FEED_FORMAT。我也尝试使用JsonItemExporter函数,但都是徒劳的。任何帮助将不胜感激。谢谢!运行scrapy spider后设置/配置输出文件
1
A
回答
2
我认为你应该使用scrapy爬行yourspider -o output.json -t JSON
其中-o输出文件名和-t输出格式。
0
使用以下任一命令
scrapy crawl yourspidername --set FEED_URI=output.json --set FEED_FORMAT=json
scrapy crawl yourspidername -o output.json -t json
+0
任何想法如何设置它(文件名+位置)? – JinSnow
相关问题
- 1. 通过脚本运行Scrapy蜘蛛并配置输出文件的设置
- 2. Eclipse:在运行配置后重命名输出文件
- 3. IntelliJ - 设置运行配置(出错)
- 4. 运行Scrapy Spider的多个实例
- 5. 无法配置运行设置插件“VSTest运行配置”的设置,因为它抛出以下异常:
- 6. Scrapy:如何从设置文件设置scrapy start_urls?
- 7. 配置文件设置 - 需要输入
- 8. Python收益阻止Scrapy Web Spider Crawler的输出/执行
- 9. logstash文本文件输出配置
- 10. 设置配置文件和运行代码的问题
- 11. Eclipse:为HTML/Javascript文件设置运行配置
- 12. 如何在运行时设置logback配置文件?
- 13. WPF:在运行时更改配置文件的用户设置?
- 14. 运行记录的WLST Python文件以设置WebLogic域配置
- 15. 在运行时从外部配置文件重新加载配置设置
- 16. Scrapy Spider Crawl 0页
- 17. pycharm scrapy配置
- 18. Android设置|(文件)配置
- 19. Eclipse:导出运行配置
- 20. 设置Ruby运行时配置参数?
- 21. logstash文件输入配置
- 22. 设置XslCompiledTransform输出设置
- 23. Scrapy中间件设置
- 24. Scrapy:设置条件settings.py
- 25. 设置配给配置文件到期
- 26. 配置文件的Webpack输出路径
- 27. 解释node.js配置文件输出?
- 28. pyspark的配置文件缺少输出
- 29. 了解Python配置文件输出
- 30. 设置asp.net5项目输出文件夹
你是如何运行的蜘蛛?请分享您的代码 –