从两只熊猫dataframes合并列，并显示每一行

Question

源我有两个熊猫dataframes：

import pandas as pd 
a = pd.DataFrame({'key' : [123, 234, 345, 456] }) 
b = pd.DataFrame({'key' : [  234, 345, 456, 567 ] }) 

我希望做的是把它们合并成一个单一的数据帧有两列：一个key，两者的结合;和另一个source，两个原始数据帧中的哪一个包含所述密钥的列表。

对于上面的输入，我想这一点：

+---+-----+--------+ 
| | key | source | 
+---+-----+--------+ 
| 0 | 123 | [a] | 
| 1 | 234 | [a, b] | 
| 2 | 345 | [a, b] | 
| 3 | 456 | [a, b] | 
| 4 | 567 | [b] | 
+---+-----+--------+ 

我有工作，但（我想）是可怕缓慢的大表的实现：

union = set(a.key) 
union.update(b.key) 
union_series = pd.Series(data=sorted(list(union))) 

def append_ifin_src(urow, acc, (name, src)): 
    acc.extend([name] if len(src[src==urow]) != 0 else []) 
    return acc 

source_series = union_series.apply(lambda urow : reduce(lambda acc, tocheck : append_ifin_src(urow, acc, tocheck), [('a', a.key), ('b', b.key)], [])) 

pd.DataFrame({ 'key' : union_series, 'source' : source_series }) 

什么更好的方法去做这个？

Answer 1

A“pandy”的方式来做到这一点是首先推动列索引：

aa = pd.DataFrame(['a']*len(a), index=a.key, columns=['a']) 
bb = pd.Series(['b']*len(b), index=b.key, name='b') 

，然后加入他们的行列，并计算新列：

aa.join(bb, how='outer')\ 
    .fillna('')\ 
    .apply(lambda x: x['a'] + x['b'], axis=1) 

我也想尝试一个纯粹的Python解决方案，如果初始排序并不重要：

def source(key): 
    if key in sa and key in sb: 
     return '[a, b]' 
    if key in sa: 
     return '[a]' 
    if key in sb: 
     return '[b]' 

sa = set(a.key) 
sb = set(b.key) 
pd.DataFrame([[key, source(key)] 
       for key in sa.union(sb)], 
       columns=['key', 'source'])  
Out[99]: 
key source 
0 456 [a, b] 
1 234 [a, b] 
2 567 [b] 
3 345 [a, b] 
4 123 [a] 

在我的快速测试中，纯python速度提高了6倍，但你应该检查你自己的数据。

Answer 2

import pandas as pd 

a = pd.DataFrame({'key' : [123, 234, 345, 456], 
        'source': ['a','a','a','a'] }) 
b = pd.DataFrame({'key' : [  234, 345, 456, 567 ], 
        'source': ['b','b','b','b']}) 

df = a.merge(b, how='outer', on='key').fillna("") 
df['source'] = df['source_x'] +df['source_y'] 
df[['key', 'source']] 

添加到原dataframes一列是另一个想法...

Answer 3

如果添加一列是不是可以在合并后使用np.in1d的选项。除了你有空的字符串可以删除之外，这种方式大部分都是这样。

df = pd.merge(a, b, how='outer') 
df['source'] = zip(np.where(np.in1d(df, a), 'a', ''), 
        np.where(np.in1d(df, b), 'b', '')) 

    key source 
0 123 (a,) 
1 234 (a, b) 
2 345 (a, b) 
3 456 (a, b) 
4 567 (, b)