2017-01-14 105 views
1


我有一个warc记录列表。在列表中每一个项目创建这样的:如何在python3中用lzma(* .warc.xz)压缩warc记录?

header = warc.WARCHeader({ 
    "WARC-Type": "response", 
    "WARC-Target-URI": "www.somelink.com", 
}, defaults=True) 
data = "Some string" 
record = warc.WARCRecord(header, data.encode('utf-8','replace')) 

现在,我使用* .warc.gz来存储我的记录是这样的:

output_file = warc.open("my_file.warc.gz", 'wb') 

而且这样写记录:

output_file.write_record(record) # type of record is WARCRecord 

但是我怎样才能用lzma压缩为* .warc.xz?我试过用callz warc.open替换gz,但python3中的warc不支持这种格式。我发现这个trial,但我没能救WARCRecord本:

output_file = lzma.open("my_file.warc.xz", 'ab', preset=9) 
header = warc.WARCHeader({ 
    "WARC-Type": "response", 
    "WARC-Target-URI": "www.somelink.com", 
}, defaults=True) 
data = "Some string" 
record = warc.WARCRecord(header, data.encode('utf-8','replace')) 
output_file.write(record) 

的错误信息是:

TypeError: a bytes-like object is required, not 'WARCRecord'

感谢您的帮助。

回答

1

WARCRecord类有一个write_to方法,将记录写入文件对象。

您可以使用它将记录写入使用lzma.open()创建的文件。

+0

这解决了我的问题,谢谢! – Tehryn