什么是最有效的方式将列表投入数据框？

很多时候我想转换一个列表，其中每个索引具有与数据框相同的元素类型。例如，我可能有一个列表：什么是最有效的方式将列表投入数据框？

> my.list 
[[1]] 
[[1]]$global_stdev_ppb 
[1] 24267673 

[[1]]$range 
[1] 0.03114799 

[[1]]$tok 
[1] "hello" 

[[1]]$global_freq_ppb 
[1] 211592.6 


[[2]] 
[[2]]$global_stdev_ppb 
[1] 11561448 

[[2]]$range 
[1] 0.08870838 

[[2]]$tok 
[1] "world" 

[[2]]$global_freq_ppb 
[1] 1002043

我想将此列表转换为数据框，其中每个索引元素是一列。自然（我）的事情去是为使用do.call：足够

> my.matrix<-do.call("rbind", my.list) 
> my.matrix 
    global_stdev_ppb range  tok  global_freq_ppb 
[1,] 24267673   0.03114799 "hello" 211592.6  
[2,] 11561448   0.08870838 "world" 1002043

简单，但是当我试图施放此矩阵作为一个数据帧，列保持列表元素，而不是载体：

> my.df<-as.data.frame(my.matrix, stringsAsFactors=FALSE) 
> my.df[,1] 
[[1]] 
[1] 24267673 

[[2]] 
[1] 11561448

目前，得到数据帧投妥善我使用unlist和as.vector遍历每个列，然后重铸数据帧，例如：

new.list<-lapply(1:ncol(my.matrix), function(x) as.vector(unlist(my.matrix[,x]))) 
my.df<-as.data.frame(do.call(cbind, new.list), stringsAsFactors=FALSE)

但是，这看起来效率很低。有没有更好的方法来做到这一点？

来源

2010-12-22 DrewConway

看`？data.table :: rbindlist` – marbel 2016-12-22 17:13:20

2017年，你应该使用`your_list％>％减少（bind_rows）``从purrr` – Zafar 2017-03-06 21:32:29

我想你想：

> do.call(rbind, lapply(my.list, data.frame, stringsAsFactors=FALSE)) 
    global_stdev_ppb  range tok global_freq_ppb 
1   24267673 0.03114799 hello  211592.6 
2   11561448 0.08870838 world  1002043.0 
> str(do.call(rbind, lapply(my.list, data.frame, stringsAsFactors=FALSE))) 
'data.frame': 2 obs. of 4 variables: 
$ global_stdev_ppb: num 24267673 11561448 
$ range   : num 0.0311 0.0887 
$ tok    : chr "hello" "world" 
$ global_freq_ppb : num 211593 1002043

来源

2010-12-22 18:47:15

+10

`plyr :: rbind.fill`往往是一点点比`rbind.fill`快，整个操作等同于`plyr :: ldply（my.list，data.frame）` – hadley 2010-12-23 00:54:02

我不能告诉你这是在内存或速度的“最有效”，但它是相当有效的术语编码：

my.df <- do.call("rbind", lapply(my.list, data.frame))

与data.frame（）

的lapply（）步骤变为每个列表项到单个行数据帧然后用作与rbind（）很好

来源

2010-12-22 18:48:31

另一种选择是：

分

data.frame(t(sapply(mylist, `[`)))

但这简单操作的结果列表的数据帧：

> str(data.frame(t(sapply(mylist, `[`)))) 
'data.frame': 2 obs. of 3 variables: 
$ a:List of 2 
    ..$ : num 1 
    ..$ : num 2 
$ b:List of 2 
    ..$ : num 2 
    ..$ : num 3 
$ c:List of 2 
    ..$ : chr "a" 
    ..$ : chr "b"

对此的替换方案，沿着相同的路线，但现在的结果相同的其他解决方案，是：

data.frame(lapply(data.frame(t(sapply(mylist, `[`))), unlist))

[编辑：包括@Martin Morgan的两个解决方案的时序，它们比另一个解决方案具有优势，可以返回矢量数据帧。]一些非常有代表性的时序简单的问题：

mylist <- list(list(a = 1, b = 2, c = "a"), list(a = 2, b = 3, c = "b")) 

> ## @Joshua Ulrich's solution: 
> system.time(replicate(1000, do.call(rbind, lapply(mylist, data.frame, 
+          stringsAsFactors=FALSE)))) 
    user system elapsed 
    1.740 0.001 1.750 

> ## @JD Long's solution: 
> system.time(replicate(1000, do.call(rbind, lapply(mylist, data.frame)))) 
    user system elapsed 
    2.308 0.002 2.339 

> ## my sapply solution No.1: 
> system.time(replicate(1000, data.frame(t(sapply(mylist, `[`))))) 
    user system elapsed 
    0.296 0.000 0.301 

> ## my sapply solution No.2: 
> system.time(replicate(1000, data.frame(lapply(data.frame(t(sapply(mylist, `[`))), 
+            unlist)))) 
    user system elapsed 
    1.067 0.001 1.091 

> ## @Martin Morgan's Map() sapply() solution: 
> f = function(x) function(i) sapply(x, `[[`, i) 
> system.time(replicate(1000, as.data.frame(Map(f(mylist), names(mylist[[1]]))))) 
    user system elapsed 
    0.775 0.000 0.778 

> ## @Martin Morgan's Map() lapply() unlist() solution: 
> f = function(x) function(i) unlist(lapply(x, `[[`, i), use.names=FALSE) 
> system.time(replicate(1000, as.data.frame(Map(f(mylist), names(mylist[[1]]))))) 
    user system elapsed 
    0.653 0.000 0.658

来源

2010-12-22 19:58:07

Hrm ..在这个答案中`replicate（）`的用法有点奇怪。您正在测试将小列表转换为数据帧的效率。这似乎很少有用。测试一个* large * list列表的转换效率是否更有意义？ – naught101 2014-07-08 02:22:21

这

f = function(x) function(i) sapply(x, `[[`, i)

是返回提取x的第i个元素的功能的功能。所以

Map(f(mylist), names(mylist[[1]]))

得到一个命名（感谢地图！矢量）的列表，可以制作成数据帧

as.data.frame(Map(f(mylist), names(mylist[[1]])))

对于速度通常更快的使用unlist(lapply(...), use.names=FALSE)作为

f = function(x) function(i) unlist(lapply(x, `[[`, i), use.names=FALSE)

更一般的变体是

f = function(X, FUN) function(...) sapply(X, FUN, ...)

当执行列表结构出现了吗？也许有一个更早的步骤，迭代可以被更多矢量化的东西所取代？

来源

2010-12-22 22:09:06

尽管这个问题早已有了答案，这是值得指出的data.table包有rbindlist其完成这项任务非常迅速：

library(microbenchmark) 
library(data.table) 
l <- replicate(1E4, list(a=runif(1), b=runif(1), c=runif(1)), simplify=FALSE) 

microbenchmark(times=5, 
    R=as.data.frame(Map(f(l), names(l[[1]]))), 
    dt=data.frame(rbindlist(l)) 
)

给我

Unit: milliseconds 
expr  min  lq median  uq  max neval 
    R 31.060119 31.403943 32.278537 32.370004 33.932700  5 
    dt 2.271059 2.273157 2.600976 2.635001 2.729421  5

来源

2013-09-20 07:02:18

的dplyr包的bind_rows是高效的。

one <- mtcars[1:4, ] 
two <- mtcars[11:14, ] 
system.time(dplyr::bind_rows(one, two)) 
    user system elapsed 
    0.001 0.000 0.001

来源

2017-04-07 03:58:51

什么是最有效的方式将列表投入数据框？

回答

相关问题