2014-01-28 43 views
1

我正在使用python框架Scrapy来抓取网站并将数据存储在json数组中。为了存储我用下面的命令的数据:将项目追加到Scrapy中的JSON数组?

scrapy crawl dmoz -o items.json -t json 

每当我把这个命令但是它创建的文件中的一个新的JSON数组。有没有办法简单地附加到文件中已经存在的JSON数组?

我意识到Scrapy提供了将项目发送到某种文件格式的导出,但是我一直在努力使得这个工作和我在运行上述命令时一样有效。

回答

1

你可以使用JSON lines format

scrapy crawl dmoz -o items.jsonl -t jsonlines 

使scrapy应追加的项目,如JSON的线对象

+0

这个伟大的工程谢谢!但无论如何,我仍然可以使用我的初始命令给我的JSON数组?追加到该数组? – illwalkwithyou