进展报告的习惯性clojure？

Question

我应该如何监视clojure中映射函数的进度？

当使用命令式语言处理记录时，我经常会每隔一段时间打印一条消息以指示事情已经走了多远，例如，每1000条记录报告一次。基本上这是计数循环重复。

我想知道我可以采取什么办法，以clojure在哪里我映射函数在我的序列记录。在这种情况下，打印消息（甚至保持进度的计数）似乎基本上是副作用。

我已经想出到目前为止是这样的：

(defn report 
    [report-every val cnt] 
    (if (= 0 (mod cnt report-every)) 
    (println "Done" cnt)) 
    val) 

(defn report-progress 
    [report-every aseq] 
    (map (fn [val cnt] 
      (report report-every val cnt)) 
     aseq 
     (iterate inc 1))) 

例如：

user> (doall (report-progress 2 (range 10))) 
Done 2 
Done 4 
Done 6 
Done 8 
Done 10 
(0 1 2 3 4 5 6 7 8 9) 

正在实现这种效果的还有其他（更好）的方式？

我在做什么有什么陷阱？ （我认为我保留了懒惰，而不是头脑风暴）

Answer 1

关于clojure的好处是您可以将报告附加到数据本身而不是执行计算的代码。这可以让你分开这些逻辑上不同的部分。下面是从我的misc.clj，我觉得我几乎在每个项目中使用大块：

(defn seq-counter 
    "calls callback after every n'th entry in sequence is evaluated. 
    Optionally takes another callback to call once the seq is fully evaluated." 
    ([sequence n callback] 
    (map #(do (if (= (rem %1 n) 0) (callback)) %2) (iterate inc 1) sequence)) 
    ([sequence n callback finished-callback] 
    (drop-last (lazy-cat (seq-counter sequence n callback) 
        (lazy-seq (cons (finished-callback)())))))) 

然后包裹周围的记者你的数据，然后将结果传递给处理功能。

(map process-data (seq-counter inc-progress input)) 

Answer 2

我不知道这样做的任何现有的方式，也许这将是浏览clojure.contrib文档，看看是否已经存在的东西是个好主意。与此同时，我看了你的例子，并稍微澄清了一点。

(defn report [cnt] 
    (when (even? cnt) 
    (println "Done" cnt))) 

(defn report-progress [] 
    (let [aseq (range 10)] 
    (doall (map report (take (count aseq) (iterate inc 1)))) 
    aseq)) 

即使这个例子太简单，你仍然朝着正确的方向前进。这给了我一个关于你的报告 - 进度函数的更一般化版本的想法。该函数将采用类似map的函数，要映射的函数，报表函数和一组集合（或用于测试reduce的种子值和集合）。

(defn report-progress [m f r & colls] 
    (let [result (apply m 
       (fn [& args] 
        (let [v (apply f args)] 
        (apply r v args) v)) 
       colls)] 
    (if (seq? result) 
     (doall result) 
     result))) 

该seq？部分是只为使用减少，而不是 必然返回一个序列。有了这个功能，我们可以重写你的 例子是这样的：

user> 
(report-progress 
    map 
    (fn [_ v] v) 
    (fn [result cnt _] 
    (when (even? cnt) 
     (println "Done" cnt))) 
    (iterate inc 1) 
    (range 10)) 

Done 2 
Done 4 
Done 6 
Done 8 
Done 10 
(0 1 2 3 4 5 6 7 8 9) 

测试过滤功能：

user> 
(report-progress 
    filter 
    odd? 
    (fn [result cnt] 
    (when (even? cnt) 
     (println "Done" cnt))) 
    (range 10)) 

Done 0 
Done 2 
Done 4 
Done 6 
Done 8 
(1 3 5 7 9) 

即使精简函数：

user> 
(report-progress 
    reduce 
    + 
    (fn [result s v] 
    (when (even? s) 
     (println "Done" s))) 
    2 
    (repeat 10 1)) 

Done 2 
Done 4 
Done 6 
Done 8 
Done 10 
12 

Answer 3

我可能会执行在代理中报告。这样的事情：

(defn report [a] 
    (println "Done " s) 
    (+ 1 s)) 

(let [reports (agent 0)] 
    (map #(do (send reports report) 
      (process-data %)) 
     data-to-process) 

Answer 4

我有一些运行缓慢的应用程序（例如数据库ETL等）的这个问题。我通过添加功能(tupelo.misc/dot ...)to the tupelo library来解决它。示例：

(ns xxx.core 
    (:require [tupelo.misc :as tm])) 

(tm/dots-config! {:decimation 10}) 
(tm/with-dots 
    (doseq [ii (range 2345)] 
    (tm/dot) 
    (Thread/sleep 5))) 

输出：

 0 .................................................................................................... 
    1000 .................................................................................................... 
    2000 ................................... 
    2345 total 

为tupelo.misc命名空间can be found here API文档。