红宝石减少内存使用RoR中的脚本

Question

我有一个回报率的应用程序和一个cron耙任务，是这样的：

Model.all.each do |m| 
    if m < some_condition 
    m.do_something 
    m.save 
    end 
end 

Model有1 000 000条记录（200万用可接受的条件）。有什么方法可以改善任务内存使用情况吗？它需要千兆字节的内存，并且Ruby进程被生产服务器所杀死。我的数据库是PostgreSQL。

Answer 1

您应该使用像#find_each和#find_in_batches这样的方法。这些将一次只加载一小部分记录。看看ActiveRecord::Batches。

Answer 2

我建议使用find_each，它可以批量生成对象。

此外，还需要在SQL如果可能有内循环状态，所以ActiveRecord的不必实例化对象（因此使用内存）你不使用反正：

Model.find_each(:conditions => {:my => :condition}).each do |m| 
    # do something 
end 

Answer 3

你可以试试下面的方法：

def with_gc(enum) 
    count = enum.count 
    limit = 100 
    (0..count).select{|i| i % limit == 0}.each do |index| 
     new_count = enum.count 
     raise "query depends on updated param. Expected count #{count}, got #{new_count}" if count != new_count 
     enum.skip(index).limit(limit).each do |record| 
     yield record 
     end 
     GC.start 
    end 
    end 

，你可以使用它像这样：

with_gc(Model.all) do |m| 
    if m < some_condition 
    m.do_something 
    m.save 
    end 
end