最快通过

Question

类别

滤波大熊猫数据帧的方法我有100万行和分类列非常大的数据帧。我想知道是否有比使用.isin()方法或.join()方法here更快地选择按类别排列的行。

鉴于该数据已经分类，我认为这应该是非常快的，选择类别，但几个测试我跑了令人失望的表现。我发现的唯一的其他解决方案是从here，但解决方案似乎不适用于熊猫0.20.2。

下面是一个例子的数据集。

import pandas as pd 
import random 
import string 
df = pd.DataFrame({'categories': [random.choice(string.ascii_letters) 
            for _ in range(1000000)]*100, 
        'values': [random.choice([0,1]) 
           for _ in range(1000000)]*100}) 
df['categories'] = df['categories'].astype('category') 

测试与.isin()：

%timeit df[df['categories'].isin(list(string.ascii_lowercase))] 
44 s ± 894 ms per loop (mean ± std. dev. of 7 runs, 1 loop each) 

使用.join()：

%timeit df.set_index('categories').join(
    pd.Series(index=list(string.ascii_lowercase), name='temp'), 
    how='inner').rename_axis('categories').reset_index().drop('temp', 1) 
24.7 s ± 1.69 s per loop (mean ± std. dev. of 7 runs, 1 loop each) 

Answer 1

这里有一个类似的，但不同的方法，直接值进行比较，而不是使用isin。

基本map /λ比较：

%timeit df[df['categories'].map(lambda x: x in string.ascii_lowercase)] 
> 1 loop, best of 3: 12.3 s per loop 

使用isin：

%timeit df[df['categories'].isin(list(string.ascii_lowercase))] 
> 1 loop, best of 3: 55.1 s per loop 

版本：PY 3.5.1/5.1.0的IPython /大熊猫0.20.3

背景：我注意到one of the SO posts您链接到一个评论者提到，isin需要在执行过程中创建set()，所以跳过这一步，做一个基本的列表查找似乎是加速这里。

Disclamer：不是我经常处理的尺度类型，所以在那里可能会有更快的选项。

编辑：在意见请求从JohnGalt额外的细节：

df.shape 
> (100000000, 2) 
df.dtypes 
> categories category 
values   int64 
dtype: object 

要创建示例数据，我复制/粘贴从最初的问题的样品DF。运行于2015年初的MBP模型。

Answer 2

这里是1/10样品运行。 Groupby自然地利用了分类。目前的df.loc[list_of_items]对于分类的实施是不是很有效，但可以利用这种引擎盖下。

In [68]: %timeit -n 3 -r 1 df[df['categories'].isin(list(string.ascii_lowercase))] 
3.67 s +- 0 ns per loop (mean +- std. dev. of 1 run, 3 loops each) 

In [69]: s = set(list(string.ascii_lowercase)) 

In [70]: %timeit -n 3 -r 1 df.groupby('categories', as_index=False).filter(lambda x: x.name in s) 
1.09 s +- 0 ns per loop (mean +- std. dev. of 1 run, 3 loops each) 

In [71]: result2 = df.groupby('categories', as_index=False).filter(lambda x: x.name in s) 

In [72]: result1 = df[df['categories'].isin(list(string.ascii_lowercase))] 
result1.equals 

In [73]: result1.equals(result2) 
Out[73]: True