合并大型csv文件

我有几个csv文件，每个文件大约有50,000行。所有文件都有名为id和PositionX的列。我只想在id和PositionX相同的情况下绑定它们。如果不相同，只需放一个NA。我使用如下：合并大型csv文件

datlist<-list(Cfour,Cfive,Csix,Cseven,Cten,Ctwelve,Cthirteen,Cfourteen,Cfifteen,Csixteen,Cseventeen,Cnineteen,Ctwoone,Ctwofour,Ctwosix,Ctwonine,Cthreethree,Cthreeseven,Cfourty) 
ss<-Reduce(function(df1,df2) merge(df1,df2,by=c("id", "PositionX"),all=T),datlist)

例如文件1有，

id PositionX val1 
1 5 4.2 
2 8 4.3

和文件2具有

id PositionX val2 
    1 5 6.3 
    2 8 9.3

和文件3具有

id PositionX val3 
     0 5 6.2 
     2 8 9.3

我想有

 id PositionX val1 val2 val3 
     0 5 NA NA 6.2 
     1 5 4.2 6.3 NA 
    ...

有没有办法快速做到这一点？

来源

2017-05-24 Jamil

你从'dplyr'包中检查过'full_join'吗？ – Aramis7d

这有点不清楚。你想要结合多个CSV文件（数据帧），它们有id，positionX和其他数据。还有其他什么数据如果两个以上的csv文件具有相同的id，positionX变量？输出数据中会有多少个变量？你只是想从长格式转换为宽格式吗？显示一些示例输入和输出。 – Spacedman

@Spacedman我希望这很清楚。 – Jamil

不确定SQL是否能够处理该大文件，但如果使用SQL服务器，则可以使用if-then-when命令进行连接。

来源

2017-05-24 06:05:34

使用data.table包做得更快（可用）

library(data.table) 
df1=data.table(df1) 
df2=data.table(df2) 
df3=data.table(df3) 

setkey(df1, id, PositionX) 
setkey(df2, id, PositionX) 
setkey(df2, id, PositionX) 

j1=df1[df2, alpha := i.alpha] 
j2=df3[j1, alpha := i.alpha]

在基础R这绝对作品

> df1 
    id PositionX val1 
1 1   5 4.2 
2 2   8 4.3 
> df2 
    id PositionX val2 
1 1   5 6.3 
2 2   8 9.3 
> df3 
    id PositionX val3 
1 0   5 6.2 
2 2   8 9.3 
> merge(df1,df2,by=c("id","PositionX")) 
    id PositionX val1 val2 
1 1   5 4.2 6.3 
2 2   8 4.3 9.3 
> j1=merge(df1,df2,by=c("id","PositionX")) 
> j1 
    id PositionX val1 val2 
1 1   5 4.2 6.3 
2 2   8 4.3 9.3 
> merge(j1,df3,by=c("id","PositionX")) 
    id PositionX val1 val2 val3 
1 2   8 4.3 9.3 9.3 
> merge(j1,df3,by=c("id","PositionX"),all=T) 
    id PositionX val1 val2 val3 
1 0   5 NA NA 6.2 
2 1   5 4.2 6.3 NA 
3 2   8 4.3 9.3 9.3

dplyr会工作得更快上data.table格式 http://stat545.com/bit001_dplyr-cheatsheet.html#full_joinsuperheroes-publishers

来源

2017-05-24 06:51:48

请阅读更新后的问题，不要跳到不明确的问题上。 – Spacedman

Aye Aye船长！ –

full_join from dlpyr程序包比merge要快一些。再现的例子如下：

> set.seed(123) 
> library(dplyr) 
> d = data.frame(id=1:100,Pos=1:100,val1=runif(100)) 
> f1 = d[sample(100,80),] 
> f2 = d[sample(100,80),] 
> f3 = d[sample(100,80),] 
> names(f2)[3]="val2" 
> names(f3)[3]="val3" 
> head(f1) 
    id Pos  val1 
60 60 60 0.3744628 
33 33 33 0.6907053 
48 48 48 0.4659625 
93 93 93 0.3435165 
47 47 47 0.2330341 
85 85 85 0.1028646 
> head(f2) 
    id Pos  val2 
84 84 84 0.7881958 
31 31 31 0.9630242 
70 70 70 0.4398317 
26 26 26 0.7085305 
58 58 58 0.7533079

同样地，对于f3。

要使用dplyr做合并，它的：

> jd = Reduce(full_join, list(f1,f2,f3)) 
Joining, by = c("id", "Pos") 
Joining, by = c("id", "Pos")

，并提供：

> head(jd %>% arrange(id)) 
    id Pos  val1  val2  val3 
1 1 1 0.2875775  NA 0.2875775 
2 2 2  NA  NA 0.7883051 
3 3 3  NA 0.4089769 0.4089769 
4 4 4  NA 0.8830174 0.8830174 
5 5 5 0.9404673 0.9404673 0.9404673 
6 6 6 0.0455565  NA 0.0455565

这是一样的：

> head(Reduce(function(df1,df2) merge(df1,df2,by=c("id", "Pos"),all=T),list(f1,f2,f3))) 
    id Pos  val1  val2  val3 
1 1 1 0.2875775  NA 0.2875775 
2 2 2  NA  NA 0.7883051 
3 3 3  NA 0.4089769 0.4089769 
4 4 4  NA 0.8830174 0.8830174 
5 5 5 0.9404673 0.9404673 0.9404673 
6 6 6 0.0455565  NA 0.0455565

除了不id排序（因此arrange）。

为基准，首先我们需要一个full_join包装函数指定的列，这样，当我们的基准它，它不花所有的时间尖叫消息：

> fj = function(a,b){full_join(a,b,by=c("id","Pos"))}

现在，我们可以运行后的基准使用library(microbenchmark)：

> microbenchmark(Reduce(fj,list(f1,f2,f3)),Reduce(function(df1,df2) merge(df1,df2,by=c("id", "Pos"),all=T),list(f1,f2,f3))) 
Unit: microseconds 
                          expr 
                    Reduce(fj, list(f1, f2, f3)) 
Reduce(function(df1, df2) merge(df1, df2, by = c("id", "Pos"),  all = T), list(f1, f2, f3)) 
     min  lq  mean median  uq  max neval 
    860.491 901.746 1108.901 936.0205 1016.623 6951.609 100 
3133.837 3245.754 4092.630 3291.7825 3616.122 15828.191 100

你的实际加速（或减速）可能取决于您如何匹配是稀疏，有多少行，列，数据帧等。

来源

2017-05-24 08:53:48 Spacedman

合并大型csv文件

回答

相关问题