在Pandas中总结两个以上具有相同索引的数据帧

Question

我想在Pandas中添加具有相同索引的4个数据帧的值。如果有两个dataframes，DF1和DF2，我们可以写成：

df1.add(df2) 

和3 dataframes：

df3.add(df2.add(df1)) 

我不知道是否有在Python这样做更广泛的方式。

Answer 1

选项1
使用sum

sum([df1, df2, df3, df4]) 

选项2
使用reduce

from functools import reduce 

reduce(pd.DataFrame.add, [df1, df2, df3, df4]) 

选项3
使用pd.concat和pd.DataFrame.sum与level=1
这只适用于数据帧索引有单个级别的情况。我们必须让它变得更可爱才能使它工作。我建议其他选项。

pd.concat(dict(enumerate([df1, df2, df3, df4]))).sum(level=1) 

---

设置

df = pd.DataFrame([[1, -1], [complex(0, 1), complex(0, -1)]]) 
df1, df2, df3, df4 = [df] * 4 

演示

sum([df1, df2, df3, df4]) 

     0  1 
0 (4+0j) (-4+0j) 
1  4j  -4j 

---

from functools import reduce 

reduce(pd.DataFrame.add, [df1, df2, df3, df4]) 

     0  1 
0 (4+0j) (-4+0j) 
1  4j  -4j 

---

pd.concat(dict(enumerate([df1, df2, df3, df4]))).sum(level=1) 

     0  1 
0 (4+0j) (-4+0j) 
1  4j  -4j 

---

时序

小数据

%timeit sum([df1, df2, df3, df4]) 
%timeit reduce(pd.DataFrame.add, [df1, df2, df3, df4]) 
%timeit pd.concat(dict(enumerate([df1, df2, df3, df4]))).sum(level=1) 

1000 loops, best of 3: 591 µs per loop 
1000 loops, best of 3: 456 µs per loop 
100 loops, best of 3: 3.61 ms per loop 

更大的数据

df = pd.DataFrame([[1, -1], [complex(0, 1), complex(0, -1)]]) 
df = pd.concat([df] * 1000, ignore_index=True) 
df = pd.concat([df] * 100, axis=1, ignore_index=True) 
df1, df2, df3, df4 = [df] * 4 

%timeit sum([df1, df2, df3, df4]) 
%timeit reduce(pd.DataFrame.add, [df1, df2, df3, df4]) 
%timeit pd.concat(dict(enumerate([df1, df2, df3, df4]))).sum(level=1) 

100 loops, best of 3: 3.94 ms per loop 
100 loops, best of 3: 2.9 ms per loop 
1 loop, best of 3: 1min per loop