我经常需要过滤熊猫数据帧df
df[df['col_name']=='string_value']
,我想加快行选择操作,有没有快速的方法来做到这一点?如何通过字符串匹配加速熊猫行过滤?
例如,
In [1]: df = mul_df(3000,2000,3).reset_index()
In [2]: timeit df[df['STK_ID']=='A0003']
1 loops, best of 3: 1.52 s per loop
能1.52s可以缩短?
注:
mul_df()
是函数来创建多级数据帧:
>>> mul_df(4,2,3)
COL000 COL001 COL002
STK_ID RPT_Date
A0000 B000 0.6399 0.0062 1.0022
B001 -0.2881 -2.0604 1.2481
A0001 B000 0.7070 -0.9539 -0.5268
B001 0.8860 -0.5367 -2.4492
A0002 B000 -2.4738 0.9529 -0.9789
B001 0.1392 -1.0931 -0.2077
A0003 B000 -1.1377 0.5455 -0.2290
B001 1.0083 0.2746 -0.3934
下面是()mul_df的代码:
import itertools
import numpy as np
import pandas as pd
def mul_df(level1_rownum, level2_rownum, col_num, data_ty='float32'):
''' create multilevel dataframe, for example: mul_df(4,2,6)'''
index_name = ['STK_ID','RPT_Date']
col_name = ['COL'+str(x).zfill(3) for x in range(col_num)]
first_level_dt = [['A'+str(x).zfill(4)]*level2_rownum for x in range(level1_rownum)]
first_level_dt = list(itertools.chain(*first_level_dt)) #flatten the list
second_level_dt = ['B'+str(x).zfill(3) for x in range(level2_rownum)]*level1_rownum
dt = pd.DataFrame(np.random.randn(level1_rownum*level2_rownum, col_num), columns=col_name, dtype = data_ty)
dt[index_name[0]] = first_level_dt
dt[index_name[1]] = second_level_dt
rst = dt.set_index(index_name, drop=True, inplace=False)
return rst
为什么不把它作为一个索引(或者如果它不是一个索引,将其设置为索引)?在索引上选择要快得多('df.ix ['A0003']'):对我而言,194 us vs 646 ms。 – joris 2013-05-05 12:53:06
这只是一个示例。很多时候,我们需要按列而不是索引来选择;将其设置为索引是一种选择,但它引入了其他问题(已存在索引,更改数据结构等)(如果我们将数据库视为数据库表,则非常常见:SELECT * FROM table_name WHERE col_name ='string_value ',不是吗?) – bigbug 2013-05-05 13:05:56