通过迭代大熊猫GROUPBY组

我有一个熊猫据帧school_df，看起来像这样：通过迭代大熊猫GROUPBY组

school_id date_posted date_completed 
0 A   2014-01-01 2014-01-01 
1 A   2014-01-01 2014-01-08 
2 A   2014-04-29 2014-05-01 
3 B   2014-01-01 2014-01-01 
4 B   2014-01-20 2014-02-23

每一行代表由学校一个项目。我想添加两列：对于每个唯一的school_id，计算在该日期之前发布的项目数量以及在该日期之前完成了多少项目的计数。

下面的代码有效，但我有大约300,000个独特的学校，所以需要很长时间才能运行。有没有更快的方式来获得我正在寻找的东西？谢谢您的帮助！

import pandas as pd 
groups = school_df.groupby("school_id") 
blank_df = pd.DataFrame() 
for g, df in groups: 
    df['school_previous_projects'] = df.date_posted.map(lambda x: len(df[df.date_posted < x])) 
    df['school_previous_completed'] = df.date_posted.map(lambda x: len(df[df.date_completed < x])) 
    blank_df = pd.concat([blank_df, df])

来源

2015-09-06 Erin

@BobHaffner有一个很好的答案。在盒子外面思考，你可以分组学校，并在日期栏中一次设置索引。然后你可以使用滚动计数，因为它将按日期排序。这比使用apply方法和检查每行的len要快得多。查看cumcount http://pandas.pydata.org/pandas-docs/stable/generated/pandas.core.groupby.GroupBy.cumcount.html –

我同意@BrianPendleton我的方法可能会比您的方法更快，但可能会有一个更好的方法。 –

下面是使用cumcount版本（我简化了日期，但还是应该工作）：

import pandas as pd 
import io 


df = pd.DataFrame({'school_id': ['A', 'A', 'A', 'B', 'B'], 
        'date_posted': pd.date_range('2014-01-01', '2014-01-05'), 
        'date_completed': pd.date_range('2014-01-01', '2014-01-05')}) 

posted = df.set_index('date_posted').groupby('school_id').cumcount() 
comp = df.set_index('date_completed').groupby('school_id').cumcount() 

df['posted'] = posted.values 
df['comp'] = comp.values 

print df

结果：

date_completed date_posted school_id posted comp 
0  2014-01-01 2014-01-01   A  0  0 
1  2014-01-02 2014-01-02   A  1  1 
2  2014-01-03 2014-01-03   A  2  2 
3  2014-01-04 2014-01-04   B  0  0 
4  2014-01-05 2014-01-05   B  1  1

来源

2015-09-06 18:39:44

试试看。应该比你的for循环和两张地图更快。从你的框架开始

school_id date_posted date_completed 
0 A   2014-01-01 2014-01-01 
1 A   2014-01-01 2014-01-08 
2 A   2014-04-29 2014-05-01 
3 B   2014-01-01 2014-01-01 
4 B   2014-01-20 2014-02-23

然后一个函数。 getProjectCounts（）使用布尔索引和一个简单的计数（）

def getProjectCounts(row, df): 
    filter = (df["school_id"] == row["school_id"]) & (df["date_posted"] < row["date_posted"]) 
    dp_count = df[filter]["date_posted"].count() 
    filter = (df["school_id"] == row["school_id"]) & (df["date_completed"] < row["date_completed"]) 
    dc_count = df[filter]["date_completed"].count() 
    return pd.Series([dp_count, dc_count])

那么适用（）的函数被排走行

school_df[["school_previous_projects","school_previous_completed"]] = school_df.apply(lambda x : getProjectCounts(x, school_df),axis=1) 


    school_id date_posted date_completed school_previous_projects \ 
0   A 2014-01-01  2014-01-01       0 
1   A 2014-01-01  2014-01-08       0 
2   A 2014-04-29  2014-05-01       2 
3   B 2014-01-01  2014-01-01       0 
4   B 2014-01-20  2014-02-23       1 

    school_previous_completed 
0       0 
1       1 
2       2 
3       0 
4       1

来源

2015-09-06 04:41:00

通过迭代大熊猫GROUPBY组

回答

相关问题