解析大型压缩的xml文件，python

Question

file = BZ2File(SOME_FILE_PATH) 
p = xml.parsers.expat.ParserCreate() 
p.Parse(file) 

这里的代码试图解析用bz2压缩的xml文件。不幸的是它失败的消息：

TypeError: Parse() argument 1 must be string or read-only buffer, not bz2.BZ2File

有没有一种方法来分析在运行压缩BZ2 XML文件？

注意：p.Parse(file.read())不是这里的一个选项。我想解析一个比可用内存大的文件，所以我需要一个流。

Answer 1

只需使用p.ParseFile（file）而不是p.Parse（file）。 （）需要一个字符串，ParseFile（）需要一个文件句柄，并根据需要读取数据。

Ref：http://docs.python.org/library/pyexpat.html#xml.parsers.expat.xmlparser.ParseFile

Answer 2

使用.read()上的file对象在整个文件中以字符串形式读取，然后将其传递给Parse？

file = BZ2File(SOME_FILE_PATH) 
p = xml.parsers.expat.ParserCreate() 
p.Parse(file.read()) 

Answer 3

你可以传入一个mmap（）的ed文件吗？这应该会自动分页所需的文件部分，并避免内存溢出。当然，如果expat建立一个分析树，它可能仍然用完内存。

http://docs.python.org/library/mmap.html

内存映射文件对象的行为像字符串和类似文件的对象。不像普通的字符串对象，但是，它们是可变的。您可以在大多数需要字符串的地方使用mmap对象;例如，您可以使用re模块搜索内存映射文件。