使用data.tables，尝试按列索引聚合数据

我在使用data.table包时遇到了一些麻烦。我使用这个软件包是因为它看起来非常快速和高效，并且它将在一个非常大的数据集上工作（〜6m x 300）。使用data.tables，尝试按列索引聚合数据

所以，基本上我有这个问题的一个例子是：

AA <- matrix(runif(50,0,100), 10,5) 
AA <- data.table(AA) 
colnames(AA) <- c("one","two","three","four","five") 
AA[,"key"] <- c(1:10) 
setkey(AA,key) 

BB <- matrix(c("A1","A1","B1","A1","C1","F1","T1","Y1","S1","S1","B2","C2","V2","G2","R2","U2","P2","Q2","A2","R2"),10,2) 
BB <- data.table(BB) 
BB[,"key"] <- c(1:10) 
setkey(BB,key) 

CC <- AA[BB]

这给出了以下

> CC 
    key  one  two  three  four  five V1 V2 
[1,] 1 70.528360 7.901987 66.827238 44.51487 26.22273 A1 B2 
[2,] 2 38.560889 31.808611 7.877950 34.51093 51.27989 A1 C2 
[3,] 3 70.164154 16.636281 59.127573 79.95673 19.07643 B1 V2 
[4,] 4 82.019267 86.958215 3.335632 44.19048 46.29047 A1 G2 
[5,] 5 24.980403 25.352212 78.240760 93.69818 46.64401 C1 R2 
[6,] 6 1.062644 30.214449 15.920193 35.15496 97.86995 F1 U2 
[7,] 7 5.242374 47.591899 56.879902 70.05319 82.48689 T1 P2 
[8,] 8 69.646271 69.576102 38.766948 38.62866 74.69404 Y1 Q2 
[9,] 9 25.335255 54.638416 5.777238 80.87692 34.11951 S1 A2 
[10,] 10 54.844424 18.645826 59.370042 48.24352 84.02630 S1 R2

我试图做的是通过聚合V1的数据和V2

> CC[,length(one), by=V1] 
    V1 V1.1 
[1,] A1 3 
[2,] B1 1 
[3,] C1 1 
[4,] F1 1 
[5,] T1 1 
[6,] Y1 1 
[7,] S1 2 

> CC[,length(one), by=V2] 
    V2 V1 
[1,] B2 1 
[2,] C2 1 
[3,] V2 1 
[4,] G2 1 
[5,] R2 2 
[6,] U2 1 
[7,] P2 1 
[8,] Q2 1 
[9,] A2 1

我遇到的问题是，如果我不明确知道我想要列的名称通过聚合，或者如果我想循环说100列获得100个不同的聚合，我该怎么做？

data.table参考手册说这是因为变量在数据表的范围内被引用，所以CC [，V1]将给出一列，而CC [，“V1”]惯于。它说，你可以使用类似

x <- quote(V1) 
CC[,length(one), by=eval(x)]

但是，这似乎并没有工作，我已经尝试了一些东西，比如在矢量和（）引用的各种组合，noquote设置变量名称（），enquote（），但我似乎无法弄清楚是否有可能。

我该如何设置它以循环遍历每个聚合的列名称列表？

如果不是，有没有更好的方法来快速地聚合这样的大型数据集？

谢谢。

来源

2012-01-28 Ger

我不确定你要做什么 - 我想你可能不得不想出一个更好的例子来说明你正在做什么。

可以，例如，通过在by一个特征向量，所以这会工作：

agg.by <- "V1" 
CC[, length(one), by=agg.by]

如果你想总结了在你的子集“未知”列，可以lapply在.SD data.table是在范围内的每个集合体，例如：

CC[, lapply(.SD, mean), by=agg.by]

如果你只从原始data.table总结了几个栏，使用.SDcols参数，如：

CC[, lapply(.SD, mean), by=agg.by, .SDcols=c('one', 'two')]

我认为上述的一些组合将解决您所问的问题，但我很难完全理解您所追求的内容。

如果您可以提供更好的示例数据和预期结果，我很乐意进一步提供帮助。

来源

2012-01-30 02:05:58

对不起，如果问题不清楚，但事实证明这'agg.by < - “V1”; CC [，length（one），by = agg.by]'实际上是有效的。不知道我以前做错了什么！我基本上试图在数据集中的所有分类变量上生成图表。但我不知道他们将被调用的位置或他们将要定位的位置，所以我想循环访问制作图表的数据集。麻烦的是，它似乎并没有将列名设置为变量（就像你对'agg.by < - “V1”'所做的那样）。我认为这可能是因为我想像定义一个变量'c（“V1”，“V2，...）'，谢谢！ – Ger 2012-01-30 17:15:18

使用data.tables，尝试按列索引聚合数据

回答

相关问题