2017-08-06 142 views
1

我有一个模块可以将数据保存为csv格式,这取决于数据大小需要相对较长的时间。 Elixir如何异步完成此任务?我尝试使用代理,但过程超时。在Elixir中异步运行长时间运行的任务

enter image description here

defmodule FinReporting.Export_CSV do 
    alias FinReporting.DistributeRepo 
    alias FinReporting.InterfaceMdl 
    import Ecto.Query 

    def start_link do 
     Agent.start_link(fn -> HashDict.new end, name: __MODULE__) 
    end 

    def export do 
     Agent.update(__MODULE__, fn dict -> 

            export_sub()  
           end) 
    end 

    defp export_sub do 
     file = File.open!("test.csv",[:write, :utf8]) 
     IO.puts("===> CSV export of NGInterface file started.") 
     DistributeRepo.all(from entry in InterfaceMdl, limit: 100000, select: %{ field1: entry.field1, amount: entry.amount}) 
       |>Enum.map(fn(entry)-> %{entry|amount: Decimal.to_string(entry.amount)}end) 
       |> Enum.map(fn(m) -> [m.field1, m.amount] end) 
       |> CSV.encode 
       |> Enum.each(&IO.write(file, &1)) 

     IO.puts("===> CSV export of NGInterface file completed.") 
     _ = File.close(file) 
    end 
end 

回答

4

您可以使用第三个参数Agent.update指定自定义超时。你可以传递一个指定毫秒数的整数,例如60000一分钟,或:infinity无限超时。

Agent.update(__MODULE__, fn dict -> export_sub() end, 60000) 

但是,Agent.update等待函数完成执行,这是不是你想要的。

你想要Task,特别是Task.async/1

Task.async(fn -> export_sub() end) 

这将返回一个Task结构,你可以稍后在应用程序中使用Task.await等待或要求使用Task.yield其状态。所有这些以及更多内容在the documentation of Task中有详细的解释。