子集数据帧具有不同长度的另一个数据帧

我有相互作用由染色体（CHR）表示染色体对一个数据帧，和位置（POS），如下所示：子集数据帧具有不同长度的另一个数据帧

>>>import pandas as pd 

>>>df1 
chr1  pos1  chr2  pos2 
chr1 54278 chr13 68798 
chr1 32145  chr7 1248798 
... 
[162689366 rows x 4 columns]

在真实数据组，这些被分选通过chr1，然后pos1，chr2，pos2。

我与相互作用对我不妨先看看下面的格式的另一个数据集：

>>>df2 
chr  start  stop  comment 
chr1 54275 55080 cluster-1 
chr1 515523 515634 cluster-2 
... 
chr13 68760 70760 
... 
[69 rows x 4 columns]

我想子集DF1，包括行，当且仅当两者的相互作用对（CHR 1 POS1 & CHR2 -pos2）在df2的开始和停止值范围内。

在这个例子中，最终的数据帧将是这个样子：

>>>df3 
chr1 pos1  chr2  pos2 
chr1 54278 chr13 68798 
...

我一直在努力明智做到这一步（第一个CHR-POS对，那么第二个）使用.between功能在熊猫没有任何成功。我已经尝试了python2.7和python3.6。

>>>df3 = df1[(df1['chr1'].isin(df2.chr)) & df1['pos1'].between(df1.pos1(df2.start),df1.pos1(df2.stop))]

这似乎适用于.isin但我得到..The函数的错误。我认为，因为数据帧长度不一样，但我无法确定。

>>>df1['pos1'].between(df2.start,df2.stop) 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/usr/lib/python2.7/dist-packages/pandas/core/series.py", line 2412, in between 
    lmask = self >= left 
    File "/usr/lib/python2.7/dist-packages/pandas/core/ops.py", line 699, in wrapper 
    raise ValueError('Series lengths must match to compare') 
ValueError: Series lengths must match to compare

任何帮助，非常感谢！

来源

2017-05-11 Adan Horta

有人可能会有一个更优雅的解决方案，但在我的脑海中，我会加入df2到df1两次，以便您将所有内容都放在一个数据集中，并且比较很容易。

df2基本上是查找表，并且df2.chr应分别与df1.chr1和df1.chr2匹配。

df_all = df1.merge(df2, 
        how='inner', 
        left_on='chr1', 
        right_on='chr') \ 
      .merge(df2, 
        how='inner', 
        left_on='chr2', 
        right_on='chr', 
        suffixes=('_r1', '_r2'))

请注意后缀。所以pos1将被测试在start_r1-stop_r1范围内，并且pos2将被测试为在start_r2-stop_r2范围内。

df3 = df_all[(df_all['pos1'] \ 
        .between(df_all['start_r1'], df_all['stop_r1'])) & 
      (df_all['pos2'] \ 
        .between(df_all['start_r2'], df_all['stop_r2']))] 

# Back to four original columns again 
df3 = df3[['chr1', 'pos1', 'chr2', 'pos2']]

来源

2017-05-11 04:35:45

子集数据帧具有不同长度的另一个数据帧

回答

相关问题