如何使用python熊猫获取csv文件的集合

我有一个csv文件，其中有4列，1200行。如何使用python熊猫获取csv文件的集合

行中的值为1,0。

的4列=组A，组B，国家经贸委，SETD

我需要找出所有可能的 n(setA==1), n(setB==1), n(setC==1), n(setD==1), n(setA==1 ∩ setB==1), n(setA==1 ∩ setB==1 ∩ setC==1) .......

目前即时通讯使用这一点，但它的痛苦，耗时和混乱：

csv_pd[(csv_pd.setA==1) & (csv_pd.setB==0) & (csv_pd.setC==0)].groupby(csv_pd.D).count()

这基本上是找到n（setA∩setD）

有没有更好的一个班轮可以转储所有我需要的数据都没有那么麻烦。

我需要所有这些数据，因为林生成基于http://benfred.github.io/venn.js/examples/intersection_tooltip.html这些集的维恩图，https://github.com/benfred/venn.js/tree/master

来源

2014-12-31 rzach

避免一个班轮将提高可读性，使之少一些困惑：

mask = (csv_pd.setA==1) & (csv_pd.setB==0) & (csv_pd.setC==0) 
csv_pd[mask].groupby('D').count()

另一种可能性，这恰好是一个一行，是使用the query method：

csv_pd.query('setA==1 & setB==0 & setC==0').groupby('D').count()

还要注意，您可以将列名称传递给groupby而不是系列值。因此，groupby('D')而不是groupby(csv_pd.D)。

计算所有可能的子集的大小，powerset recipe和itertools.product将是有益的：

import itertools as IT 
import numpy as np 
import pandas as pd 

def powerset(iterable, reverse=False, rvals=None): 
    """powerset([1,2,3]) -->() (1,) (2,) (3,) (1,2) (1,3) (2,3) (1,2,3)""" 
    s = list(iterable) 
    N = len(s) 
    if rvals is None: 
     rvals = range(N, -1, -1) if reverse else range(N + 1) 
    return IT.chain.from_iterable(
     IT.combinations(s, r) for r in rvals) 

df = pd.DataFrame(np.random.randint(2, size=(10,4)), columns=list('ABCD')) 

print(df) 
for cols in powerset(df.columns): 
    if not cols: continue 
    for vals in IT.product([0,1], repeat=len(cols)): 
     mask = np.logical_and.reduce([df[c]==v for c, v in zip(cols, vals)]) 
     cond = ' & '.join(['{}={}'.format(c,v) for c, v in zip(cols,vals)]) 
     n = len(df[mask]) 
     print('n({}) = {}'.format(cond, n))

产量

n(A=0) = 8 
n(A=1) = 2 
n(B=0) = 4 
n(B=1) = 6 
... 
n(A=0 & B=0) = 4 
n(A=0 & B=1) = 4 
n(A=1 & B=0) = 0 
... 
n(A=1 & B=1 & C=0 & D=0) = 0 
n(A=1 & B=1 & C=0 & D=1) = 1 
n(A=1 & B=1 & C=1 & D=0) = 0 
n(A=1 & B=1 & C=1 & D=1) = 1

来源

2014-12-31 13:27:08 unutbu

如何使用python熊猫获取csv文件的集合

回答

相关问题