熊猫自定义财政季度？

Question

我正在使用面板数据，其中有几家上市公司和每家公司的几次季度观察。我认为组织数据的最佳方式是MultiIndex，其中第一级是唯一的公司标识符（本例中为'gvkey'），第二级为本季度。

我很难搞清楚如何做到这一点，因为会计年度结束可以是一年中的任何月份，这表示我使用DatetimeIndex.quarter。有没有办法让我在熊猫中定义对熊猫有意义的定制宿舍？我可以简单地使用诸如'2014Q1'之类的字符串，但我希望能够将其作为某种对象，以便Pandas能够知道上一季度是什么，或者知道该公司的财政年度结束是第10个月，因此2014Q1将于2014年1月结束。这可能吗？

下面是我在DataFrame中的一些数据的示例。该索引是gvkey，一个独特的公司标识符。 datadate是本季度的最后一天（即本季度最后一个月的最后一天），datafqtr是年和季度字符串，fyr是财年结束的月份（例如，5代表一年五月结束）。

 conm datadate datafqtr fyr 
gvkey    
001004 AAR CORP 2014-02-28 2013Q3 5.0 
001004 AAR CORP 2014-05-31 2013Q4 5.0 
001004 AAR CORP 2014-08-31 2014Q1 5.0 
001004 AAR CORP 2014-11-30 2014Q2 5.0 
001045 AMERICAN AIRLINES GROUP INC 2014-03-31 2014Q1 12.0 
001045 AMERICAN AIRLINES GROUP INC 2014-06-30 2014Q2 12.0 
001045 AMERICAN AIRLINES GROUP INC 2014-09-30 2014Q3 12.0 
001045 AMERICAN AIRLINES GROUP INC 2014-12-31 2014Q4 12.0 
001050 CECO ENVIRONMENTAL CORP 2014-03-31 2014Q1 12.0 
001050 CECO ENVIRONMENTAL CORP 2014-06-30 2014Q2 12.0 
001050 CECO ENVIRONMENTAL CORP 2014-09-30 2014Q3 12.0 
001050 CECO ENVIRONMENTAL CORP 2014-12-31 2014Q4 12.0 
001062 ASA GOLD AND PRECIOUS METALS 2014-02-28 2014Q1 11.0 
001062 ASA GOLD AND PRECIOUS METALS 2014-05-31 2014Q2 11.0 
001062 ASA GOLD AND PRECIOUS METALS 2014-08-31 2014Q3 11.0 
001062 ASA GOLD AND PRECIOUS METALS 2014-11-30 2014Q4 11.0 
001072 AVX CORP 2014-03-31 2013Q4 3.0 
001072 AVX CORP 2014-06-30 2014Q1 3.0 
001072 AVX CORP 2014-09-30 2014Q2 3.0 
001072 AVX CORP 2014-12-31 2014Q3 3.0 

Answer 1

经过一些头挠我想我知道你在问什么。

首先，我会做一些数据：

# Make dataframe 
df = pd.DataFrame({'gvkey' : ['001004']*4 +\ 
          ['001045']*4 +\ 
          ['001050']*4 +\ 
          ['001062']*4 +\ 
          ['001072']*4, 
        'conm' : ['AAR CORP']*4 +\ 
          ['AMERICAN AIRLINES GROUP INC']*4 +\ 
          ['CECO ENVIRONMENTAL CORP']*4 +\ 
          ['ASA GOLD AND PRECIOUS METALS']*4 +\ 
          ['AVX CORP']*4, 
        'datadate' : ['2014-02-28', '2014-05-31', '2014-08-31', '2014-11-30'] +\ 
           ['2014-03-31', '2014-06-30', '2014-09-30', '2014-12-31']*2 +\ 
           ['2014-02-28', '2014-05-31', '2014-08-31', '2014-11-30'] +\ 
           ['2014-03-31', '2014-06-30', '2014-09-30', '2014-12-31'], 
        'datafqtr' : ['2013Q3', '2013Q4', '2014Q1', '2014Q2'] +\ 
           ['2014Q1', '2014Q2', '2014Q3', '2014Q4']*3 +\ 
           ['2013Q4', '2014Q1', '2014Q2', '2014Q3'], 
        'fyr' : [5]*4 +\ 
          [12]*8 +\ 
          [11]*4 +\ 
          [3]*4}) 

# Reorder columns 
df = df[[df.columns[-1]] + list(df.columns[:-1])] 

# Convert 'datadate' to datetime 
df.loc[:, 'datadate'] = pd.to_datetime(df.loc[:, 'datadate']) 

# Show the dataframe 
df 

二，（根据我理解这个问题是）我将创建datafqtr列的复制。要做到这一点我用模12映射技术创建的季度和年度：

# Copy the dataframe 
df1 = df.copy() 

# Insert 'year' column 
df1.insert(df1.shape[1], 
      'year', 
      df1.loc[:, 'datadate'].dt.year) 

# Insert 'month' column 
df1.insert(df1.shape[1], 
      'month', 
      df1.loc[:, 'datadate'].dt.month) 

# Subtract 'fyr' from 'month' 
df1.insert(df1.shape[1], 
      'month-fyr', 
      df1.loc[:, 'month'] - df1.loc[:, 'fyr']) 

# Create 'new_year' column 
df1.insert(df1.shape[1], 
      'new_year', 
      np.where((df1.loc[:, 'month-fyr'] <= 0) & (df1.loc[:, 'fyr'] < 6), 
        df1.loc[:, 'year'] - 1, 
        df1.loc[:, 'year'])) 

# Make a mapper for mapping the values of 'month-fyr' to 'new_qtr' 
mapper = {-9 : 1, 
      -6 : 2, 
      -3 : 3, 
      0 : 4, 
      3 : 1, 
      6 : 2, 
      9 : 3} 

# Insert the 'new_qtr' column 
df1.insert(df1.shape[1], 
      'new_qtr', 
      df1.loc[:, 'month-fyr'].map(mapper)) 

# Insert 'new_datafqtr' column (this should be equivalent to 'datafqtr') 
df1.insert(df1.shape[1], 
      'new_datafqtr', 
      df1.loc[:, 'new_year'].astype(str) + 'Q' + df1.loc[:, 'new_qtr'].astype(str)) 

# Show the dataframe 
df1 

需要注意的是，当我创建的'new_year'专栏中，我不得不考虑是不是'fyr'是<比6。这在创建列时非常重要。

如果你想groupby 'gvkey', 'conm', 'new_year', 'new_qtr'这将显示每个正确的会计年度和季度（按顺序）。

希望这会有所帮助！

编辑：

# Insert random revenue 
df1.insert(df1.shape[1], 
      'random_revenue', 
      np.random.randint(low = 0, high = 1000000, size = df1.shape[0])) 

# Groupby 'gvkey', 'conm', 'new_year', 'new_qtr' and sum 'random_revenue' 
df_group = df1.groupby(['gvkey', 
         'conm', 
         'new_year', 
         'new_qtr']).agg({'random_revenue' : 'sum'}) 

# Find difference in revenue for "AAR CORP" between 2013Q3 and 2014Q2 
df_group.loc[('001004', 'AAR CORP', slice(None), [3, 2])].diff() 

的文档pd.diff（） - >https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.diff.html#pandas-dataframe-diff