13
有时我需要计算data.table
中一列或另一列中的非NA
元素的数量。什么是data.table
最好的方式呢?有效计算data.table中的非NA元素
为具体,让我们有这方面的工作:
DT <- data.table(id = sample(100, size = 1e6, replace = TRUE),
var = sample(c(1, 0, NA), size = 1e6, replace = TRUE), key = "id")
这使我想到的第一件事情是这样的:
DT[!is.na(var), N := .N, by = id]
但是,这不幸的缺点是N
没有得到分配到var
丢失的任何行,即DT[is.na(var), N] = NA
。
所以我解决此通过附加:
DT[!is.na(var), N:= .N, by = id][ , N := max(N, na.rm = TRUE), by = id] #OPTION 1
但是,我不知道这是最好的办法;由模拟建议this问题为data.frame
的I想到了另一种选择,一个是:
DT[ , N := length(var[!is.na(var)]), by = id] # OPTION 2
和
DT[ , N := sum(!is.na(var)), by = id] # OPTION 3
比较这些(平均超过100次试验)的计算时间,最后似乎成为最快的:
OPTION 1 | OPTION 2 | OPTION 3
.075 | .065 | .043
有没有人知道更快的方式data.table
?
@MichaelChirico,看看在[键和二进制搜索基于子集(https://github.com/Rdatatable/data.table/wiki/Getting-started)(让我们知道你是否发现了某些不清楚的东西/要加入[这里](https://github.com/Rdatatable/data.table/issues/944) – Arun
还有另一种选择:'dt5 [,。N [!is。 na(var)],by = id]' - 我的系统中第三快,比选项1和2好得多。出于某种原因,选项3产生二进制响应(0,1),而不是计数,如果多于一个'变量被使用,建议的选项5给出正确的计数。 –