最快找到匹配的行

的方式，我想知道什么是寻找在xts对象是同一个特定行的所有行的最快的方法最快找到匹配的行

library(xts) 

nRows <- 3 

coreData <- data.frame(a=rnorm(nRows), b=rnorm(nRows), c=rnorm(nRows)) 

testXts1 <- xts(coreData, order.by=as.Date(1:nRows)) 
testXts2 <- xts(coreData, order.by=as.Date((nRows + 1):(2*nRows))) 
testXts3 <- xts(coreData, order.by=as.Date((2*nRows + 1):(3*nRows))) 

testXts <- rbind(testXts1, testXts2, testXts3) 

> testXts 
        a   b   c 
1970-01-02 -0.3288756 1.441799 1.321608 
1970-01-03 -0.7105016 1.639239 -2.056861 
1970-01-04 0.1138675 -1.782825 -1.081799 
1970-01-05 -0.3288756 1.441799 1.321608 
1970-01-06 -0.7105016 1.639239 -2.056861 
1970-01-07 0.1138675 -1.782825 -1.081799 
1970-01-08 -0.3288756 1.441799 1.321608 
1970-01-09 -0.7105016 1.639239 -2.056861 
1970-01-10 0.1138675 -1.782825 -1.081799 

rowToSearch <- first(testXts) 

> rowToSearch 
        a  b  c 
1970-01-02 -0.3288756 1.441799 1.321608 

indicesOfMatchingRows <- unlist(apply(testXts, 1, function(row) lapply(1:NCOL(row), function(i) row[i] == coredata(rowToSearch[, i])))) 

testXts[indicesOfMatchingRows, ] 

        a   b   c 
1970-01-02 -0.3288756 1.441799 1.321608 
1970-01-05 -0.3288756 1.441799 1.321608 
1970-01-08 -0.3288756 1.441799 1.321608

我相信这可以更优雅地完成，快速的方式。

一个更普遍的问题是，您R中是怎么说的：“我有这样的行矩阵[5]我怎么能找到矩阵是相同的矩阵[5]（的指标）其他行”。

如何做到这一点的data.table？

来源

2015-06-20 Samo

既然你说，速度是你的主要关注，你可以得到加速比甚至超过与RCPP一个data.table解决方案：

library(Rcpp) 
cppFunction(
"LogicalVector compareToRow(NumericMatrix x, NumericVector y) { 
    const int nr = x.nrow(); 
    const int nc = x.ncol(); 
    LogicalVector ret(nr, true); 
    for (int j=0; j < nr; ++j) { 
    for (int k=0; k < nc; ++k) { 
     if (x(j, k) != y[k]) { 
     ret[j] = false; 
     break; 
     } 
    } 
    } 
    return ret; 
}") 
testXts[compareToRow(testXts, rowToSearch),] 
#     a   b   c 
# 1970-01-02 1.324457 0.8485654 -1.464764 
# 1970-01-05 1.324457 0.8485654 -1.464764 
# 1970-01-08 1.324457 0.8485654 -1.464764

这里有一个比较一个相当大的实例（100万行）：

set.seed(144) 
bigXts <- testXts[sample(nrow(testXts), 1000000, replace=TRUE),] 
testDT <- as.data.frame(bigXts) 

josilber <- function(x, y) x[compareToRow(x, y),] 
roland.base <- function(x, y) x[colSums(t(x) != as.vector(y)) == 0L,] 
library(data.table) 
roland.dt <- function(testDT, y) { 
    setDT(testDT, keep.rownames=TRUE) 
    setkey(testDT, a, b, c) 
    testDT[setDT(as.data.frame(y))] 
} 
library(microbenchmark) 
microbenchmark(josilber(bigXts, rowToSearch), roland.base(bigXts, rowToSearch), roland.dt(testDT, rowToSearch), times=10) 
# Unit: milliseconds 
#        expr   min   lq  mean  median   uq  max 
#  josilber(bigXts, rowToSearch) 7.830986 10.24748 45.64805 14.41775 17.37049 258.4404 
# roland.base(bigXts, rowToSearch) 3530.042324 3964.72314 4288.05758 4179.64233 4534.21407 5400.5619 
# roland.dt(testDT, rowToSearch) 32.826285 34.95014 102.52362 57.30213 130.51053 267.2249

这个基准假设调用roland.dt之前所述对象已被转换为一个数据帧（〜4秒开销）并在调用josilber之前编译了compareToRows（开销约3秒）。 Rcpp解决方案的速度比基础R解决方案快大约300倍，比中值运行时的data.table解决方案快大约4倍。基于digest的方法没有竞争力，每次执行时间超过60秒。

来源

2015-06-20 16:59:24 josliber

随着摘要，你只能做一次哈希表，所以大概如果你需要多次搜索会得到回报 – jenesaisquoi

我相信这个基准对于'roland.dt'来说太快了，因为'testDT'正在通过**被引用**到在第一次试验期间将其分类的'roland.dt'，这将使后续试验更快。你可以在这里试试：'a < - data.table（x = 10：1）;一个; foo < - function（x）{setkey（x）; X [data.table（X = 1：5）]}; B'-foo（a）的一个''或阅读[这里]（https://stackoverflow.com/a/14293056/2573061） – C8H10N4O2

这并不是一个巨大的差异，但我不能比两倍的基准更好的“诚实”关闭'data.table'解决方案（下面的解决方案） – C8H10N4O2

这里是一个更快的基础R溶液：

ind <- colSums(t(testXts) != as.vector(rowToSearch)) == 0L 
testXts[ind,]

下面是一个使用data.table的溶液加入：

library(data.table) 
testDT <- as.data.frame(testXts) 
setDT(testDT, keep.rownames=TRUE) 
setkey(testDT, a, b, c) 
testDT[setDT(as.data.frame(rowToSearch))]

然而，我会警惕时comparing floating point numbers。

来源

2015-06-20 16:07:32 Roland

这不使用data.table但可能是相当快的。你可以通过散列行做到这一点，

library(digest) 
hash <- apply(testXts, 1, digest) 
testXts[which(hash[1] == hash)] 

#     a   b   c 
# 1970-01-02 0.8466816 -0.7129076 -0.5742323 
# 1970-01-05 0.8466816 -0.7129076 -0.5742323 
# 1970-01-08 0.8466816 -0.7129076 -0.5742323

来源

2015-06-20 16:17:55 jenesaisquoi

你能更新您的解决方案，因此它使用所提供的'rowToSearch'而不是假设它的搜索矩阵中的第一行的？ – josliber

@josilber我想不通的那部分，随意编辑 – jenesaisquoi

由于OP是寻找效率我会找生成密钥一个更快的方法。 'do.call（粘贴，as.data。frame（testXts））将所有数字粘贴在一起，看起来更快（当我的基准测试中使用预先计算的testDT时，我可以与基本R解决方案竞争）。 – josliber

最简单的data.table解决方案可能是：

merge(as.data.table(testXts), as.data.table(rowToSearch, keep.rownames=FALSE))

  a   b   c  index 
1: 1.685138 -0.3039018 -1.550871 1970-01-02 
2: 1.685138 -0.3039018 -1.550871 1970-01-05 
3: 1.685138 -0.3039018 -1.550871 1970-01-08

为什么这个工程：

合并共同列=内部联接，除非另有说明。此内部联接仅返回具有与rowToSearch相同的（a，b，c）值的列。

keep.rownames=FALSE右侧确保删除rowToSearch（不需要）的日期索引并且不进入加入的公共列。

来源

2017-08-23 03:53:20 C8H10N4O2

最快找到匹配的行

回答

相关问题