根据往年数据计算大熊猫数据帧行的百分位数

Question

我有这个foll。据帧：

datetime  JD  YEAR VAL 
2000-01-01  1  2000 0.5 
2000-01-02  2  2000 1.2 
2000-01-03  3  2000 2.1 
2000-01-04  4  2000 3.4 
2000-01-05  5  2000 4.6 
2000-01-06  6  2000 6.8 
2000-01-07  7  2000 7.2 
2000-01-08  8  2000 0.2 
2000-01-09  9  2000 0.9 
... 
2010-12-31  365 2014 4.1 

第一年是2000，去年是2010年有没有闰年（即对应于2月29日没有行），日期时间是索引列。

我想计算一个新的数据框，从2010年1月1日到2010年12月31日。我希望它包含一个计算2010年1月1日值（VAL）百分位数的列，该数组由10个值组成（2000年1月1日，2001年1月1日... 2009年1月1日）。同样，2010年1月2日与前几年的1月2日进行比较....

lyr = df.YEAR.max() # last year i.e. 2010 
cdf = df[df.YEAR == lyr]# Latest year dataframe 
pdf = df[df.index.year < lyr] # Previous years dataframe 

pdf.groupby('JD')['VAL'] 
stats.percentileofscore(pdf['VAL'], cdf['VAL']) 

但是，我不知道如何让代码工作。 groupby只返回组，而我需要一个值列表。

Answer 1

设置了一个小样本数据帧：

np.random.seed(1234) 
df = pd.DataFrame({ 'jd': np.tile([1,2],3), 
        'yr': np.repeat([2008,2009,2010],2), 
        'val': np.random.randn(6) }) 

然后，它只是一条线：

df['pctile'] = df.groupby('jd')['val'].rank(pct=True) 

下面是输出，与sort_values(['jd','val'])

jd  val yr pctile 
4 1 -0.720589 2010 0.333333 
0 1 0.471435 2008 0.666667 
2 1 1.432707 2009 1.000000 
1 2 -1.190976 2008 0.333333 
3 2 -0.312652 2009 0.666667 
5 2 0.887163 2010 1.000000 

分类