2013-07-23 69 views
3

我想比较两个文件,每行都是JSON格式。我需要比较两个文件之间的每一行,并应该返回差异。由于文件大小太大,我无法阅读和比较每一行。请建议我采取一些优化的方式来做到这一点。比较jsons和生成的json差异的两个文件

+0

可能重复的问题http://stackoverflow.com/questions/17799680/returning-lines-that-differ-between-two般配库-files-python – scohe001

+1

@Josh,不是真的重复,但如果json格式良好并且格式一致,可能会有所帮助 –

回答

2

两种可能的方式:

  1. 使用张贴乔希的评论中提到的技术。
  2. 使用这里提到的技术: how to compare 2 json in python

假设你有一个大的文件,你是1

基于响应我下面的回答编辑最好使用difflib点中描述的技术:

经过一番研究,它似乎处理大数据有效载荷的最佳方式是以流式处理该有效载荷。通过这种方式,我们可以确保对数据进行快速处理,同时牢记软件的内存使用情况和性能。

请参阅this链接,该链接讲述了使用Python处理JSON流数据对象。同样看看ijson - 这是一个基于迭代器的JSON解析/处理库在Python中。

希望这可以帮助你走向确定,将解决你的使用情况

+0

谢谢。但是,我有成千上万的行和jsons的内部值不需要在两个文件中的顺序相同。 – user2595808