读取压缩csv文件上即时

我已经写了一些CSV文件，压缩它，使用此代码：读取压缩csv文件上即时

arr = (0...2**16).to_a 
File.open('file.bz2', 'wb') do |f| 
    writer = Bzip2::Writer.new f 
    CSV(writer) do |csv| 
    (2**16).times { csv << arr } 
    end 
    writer.close 
end

我想读这个CSV bzip2ed文件（用bzip2压缩的CSV文件）。这些文件未压缩的样子：

1,2 
4,12 
5,2 
8,7 
1,3 
...

所以，我想这个代码：

Bzip2::Reader.open(filename) do |bzip2| 
    CSV.foreach(bzip2) do |row| 
    puts row.inspect 
    end 
end

，但在执行时，它抛出：

/Users/foo/.rvm/rubies/ruby-2.1.0/lib/ruby/2.1.0/csv.rb:1256:in `initialize': no implicit conversion of Bzip2::Reader into String (TypeError) 
from /Users/foo/.rvm/rubies/ruby-2.1.0/lib/ruby/2.1.0/csv.rb:1256:in `open' 
from /Users/foo/.rvm/rubies/ruby-2.1.0/lib/ruby/2.1.0/csv.rb:1256:in `open' 
from /Users/foo/.rvm/rubies/ruby-2.1.0/lib/ruby/2.1.0/csv.rb:1121:in `foreach' 
from worm_pathfinder_solver.rb:79:in `block in <main>' 
from worm_pathfinder_solver.rb:77:in `open' 
from worm_pathfinder_solver.rb:77:in `<main>'

问题：

哪里不对？我该怎么办？

来源

2014-05-04 Israel

基于你可能需要发送read方法bzip2的对象上的简短文档（未测试）：

Bzip2::Reader.open(filename) do |bzip2| 
    CSV.foreach(bzip2.read) do |row| 
    #    ^^^^ 
    puts row.inspect 
    end 
end

来源

2014-05-04 13:14:12

我认为这是错误的 - 它应该是{{CSV.parse（bzip2.read）do ...}}。当然，这一次将整个文件读入所有文件，这可能代价高昂 - 我们通常会压缩原因 - 而其他答案似乎允许逐行处理，而无需将文件读入内存。 –

我的猜测是CSV试图将Bzip2::Reader转换为字符串，但不知道如何并简单地抛出异常。您可以手动将数据读入一个字符串，然后将THAT传递给CSV。

虽然它很奇怪，因为它可以处理Bzip2 :: Writer就好。

来源

2014-05-04 04:06:09 MxyL

CSV.foreach假设你传递一个文件路径打开。如果你想传递一个流到CSV，你需要更加明确，并使用CSV.new。此代码将处理gzip文件：

Zlib::GzipReader.open(filename) do |gzip| 
    csv = CSV.new(gzip) 
    csv.each do |row| 
    puts row.inspect 
    end 
end

来源

2015-06-18 18:40:07

读取压缩csv文件上即时

回答

相关问题