基于熊猫中的外键减去多列

Question

我正试图计算一个对象和它的基准之间的差异。我有一个包含每天记录所有看起来像这样的对象及其对应的值的数据集：

obj_df 
date   id value_a value_b value_c value_d benchmark_id 
01/21/2015 abc  10  41  19  22   efg 
01/22/2015 abc  15  43  11  21   efg 
01/21/2015 xyz  16  45  13  26   tuv 
01/22/2015 xyz  13  48  12  22   tuv 
01/21/2015 tru  10  39  15  21   efg 
01/21/2015 tru  11  37  13  20   efg 

我也有关于基准数据。值列在数据框之间共享。基准集中的id对应于原始对象数据框中的基准ID。

bm_df 
date   id value_a value_b value_c value_d 
01/21/2015 efg  12  40  12  20 
01/22/2015 efg  15  41  14  21 
01/21/2015 tuv  14  42  11  19 
01/22/2015 tuv  13  43  19  17 

我试图找到一个简单的方法返回一个数据帧，让我的对象值和相应的基准值来获得一个数据帧，看起来像这样的区别。

diff_df 
date   id diff_a diff_b diff_c diff_d benchmark_id 
01/21/2015 abc  -2  1  7  2   efg 
01/22/2015 abc   0  2  -3  0   efg 
01/21/2015 xyz   2  3  2  7   tuv 
01/22/2015 xyz   0  5  -7  5   tuv 
01/21/2015 tru  -4  -3  4  2   efg 
01/21/2015 tru  -2  -6  -6  3   efg 

有几件事情需要注意：
- 还有比基准更多的对象，所以指数不会是相同的大小。
- 每个对象都有一个基准。
- 我并不特别关心原始值。只是差异。
- 一些基准对应于多个对象。例如'abc'和'tru'都使用'efg'作为基准。

Answer 1

步骤：

执行合并：

df = obj_df.merge(bm_df, left_on=['benchmark_id', 'date'], right_on=['id', 'date']) \ 
      .drop(['id_y'], 1).set_index(['date']) 

助手功能，通过输入起点和终点的列名找到列索引位置：

def col_locate(df, start, end): 
    start_loc = df.columns.get_loc(start) 
    end_loc = df.columns.get_loc(end) 
    return list(range(start_loc, end_loc+1)) 

fir, sec = col_locate(df,'value_a_x','value_d_x'), col_locate(df,'value_a_y','value_d_y') 

Sub从objectDF和benchmarkDF道值：

df_diff = pd.DataFrame(df.iloc[:, fir].values - df.iloc[:, sec].values, 
         columns=list('abcd'), index=df.index).add_prefix('diff_') 

最后，将它们连接起来纵列：

pd.concat([df[['id_x', 'benchmark_id']], df_diff], axis=1) 

注：更新DF用于在结果到达。

Answer 2

我认为你可以使用sub，然后通过concat和最后reindex列相同的顺序添加列id和benchmark_id为obj_df列：

print (obj_df) 
       value_a value_b value_c value_d benchmark_id 
date  id             
01/21/2015 abc  10  41  19  22   efg 
01/22/2015 abc  15  43  11  21   efg 
01/21/2015 xyz  16  45  13  26   tuv 
01/22/2015 xyz  13  48  12  22   tuv 

print (bm_df) 
       value_a value_b value_c value_d 
date  id          
01/21/2015 efg  12  40  12  20 
01/22/2015 efg  15  41  14  21 
01/21/2015 tuv  14  42  11  19 
01/22/2015 tuv  13  43  19  17 

obj_df.reset_index(level=1, inplace=True) 
bm_df.reset_index(level=1, inplace=True) 
cols = ['value_a','value_b','value_c', 'value_d'] 
df = obj_df[cols].sub(bm_df[cols]) 
df = pd.concat([df, obj_df[['id','benchmark_id']]], axis=1) 
     .reindex(columns=obj_df.columns) 
     .reset_index() 

print (df) 
     date id value_a value_b value_c value_d benchmark_id 
0 01/21/2015 abc  -2  1  7  2   efg 
1 01/22/2015 abc  0  2  -3  0   efg 
2 01/21/2015 xyz  2  3  2  7   tuv 
3 01/22/2015 xyz  0  5  -7  5   tuv 

Answer 3

使用合并：

#inner join on FK 
merge = obj_df.merge(bm_df, left_on = 'benchmark_id', right_on = 'id', suffixes = ['_obj', '_bm']) 
#create new columns 
for value in ['a', 'b', 'c']: 
    merge.loc[:, 'diff_%s'%value] = merge['value_%s_obj'%value] - merge['value_%s_bm'%value] 

Answer 4

odf = obj_df.set_index(['date', 'benchmark_id']) 
bdf = bm_df.set_index(['date', 'id']) 

odf.update(odf.drop('id', 1).sub(bdf)) 
odf.reset_index().reindex_axis(obj_df.columns, 1)