2017-02-28 63 views
1

我有一个熊猫DF,看起来像这样:过滤熊猫数据帧的最后n日期

df

我想用本地定义的int参数,“天”来过滤DF。例如days = 10时,我的过滤的DF仅包含最近10个可用日期的数据。

到现在为止,我已经试过如下:

days=10  
cutoff_date = df["SeriesDate"][-1:] - datetime.timedelta(days=days) 

然而,然后利用试图输出滤波DF:

df[df['SeriesDate'] > cutoff_date] 

我得到follwing错误:

ValueError: Can only compare identically-labeled Series objects 

我仍然在学Python,所以我会很感激任何帮助。

+0

不知道我理解你的问题:你需要先创建一个每行的截止日期,然后相应地过滤? – lorenzori

+0

我想输出按照天数传递的值过滤的DF。因此,如果天数= 10,那么输出DF中的最后10个值。因此,如果最后一个可用日期是2017年2月27日,那么我的输出系列应该只在2017年2月17日之后有值 – sg91

+0

您的数据框索引是按日期排列的吗?如果您发布数据的示例,这将有所帮助。 –

回答

1

我想你需要通过iloc选择SeriesDate列的最后一个值:

start = pd.to_datetime('2015-02-24') 
rng = pd.date_range(start, periods=15, freq='20H') 
df = pd.DataFrame({'SeriesDate': rng, 'Value_1': np.random.random(15)}) 
print (df) 
      SeriesDate Value_1 
0 2015-02-24 00:00:00 0.849160 
1 2015-02-24 20:00:00 0.332487 
2 2015-02-25 16:00:00 0.687638 
3 2015-02-26 12:00:00 0.310326 
4 2015-02-27 08:00:00 0.660795 
5 2015-02-28 04:00:00 0.354475 
6 2015-03-01 00:00:00 0.061312 
7 2015-03-01 20:00:00 0.443908 
8 2015-03-02 16:00:00 0.708326 
9 2015-03-03 12:00:00 0.257419 
10 2015-03-04 08:00:00 0.618363 
11 2015-03-05 04:00:00 0.121625 
12 2015-03-06 00:00:00 0.637324 
13 2015-03-06 20:00:00 0.058292 
14 2015-03-07 16:00:00 0.047624 
days=10  
cutoff_date = df["SeriesDate"].iloc[-1] - pd.Timedelta(days=days) 
print (cutoff_date) 
2015-02-25 16:00:00 

df1 = df[df['SeriesDate'] > cutoff_date] 
print (df1) 
      SeriesDate Value_1 
3 2015-02-26 12:00:00 0.310326 
4 2015-02-27 08:00:00 0.660795 
5 2015-02-28 04:00:00 0.354475 
6 2015-03-01 00:00:00 0.061312 
7 2015-03-01 20:00:00 0.443908 
8 2015-03-02 16:00:00 0.708326 
9 2015-03-03 12:00:00 0.257419 
10 2015-03-04 08:00:00 0.618363 
11 2015-03-05 04:00:00 0.121625 
12 2015-03-06 00:00:00 0.637324 
13 2015-03-06 20:00:00 0.058292 
14 2015-03-07 16:00:00 0.047624 

另一种方法是使用max,感谢Pocin

cutoff_date = df["SeriesDate"].max() - pd.Timedelta(days=days) 
print (cutoff_date) 
2015-02-25 16:00:00 

如果你想过滤器仅限dates

days=10  
cutoff_date = df["SeriesDate"].dt.date.iloc[-1] - pd.Timedelta(days=days) 
print (cutoff_date) 
2015-02-25 

编辑:

可以过滤掉日期哪里是周末dayofweek然后用isin

start = pd.to_datetime('2015-02-24') 
rng = pd.date_range(start, periods=15) 
df = pd.DataFrame({'SeriesDate': rng, 'Value_1': np.random.random(15)}) 
print (df) 
    SeriesDate Value_1 
0 2015-02-24 0.498387 
1 2015-02-25 0.435767 
2 2015-02-26 0.299233 
3 2015-02-27 0.489286 
4 2015-02-28 0.892167 
5 2015-03-01 0.507436 
6 2015-03-02 0.360427 
7 2015-03-03 0.903886 
8 2015-03-04 0.718148 
9 2015-03-05 0.645489 
10 2015-03-06 0.251285 
11 2015-03-07 0.139275 
12 2015-03-08 0.756845 
13 2015-03-09 0.565863 
14 2015-03-10 0.148077 
days=10  
last_day = df["SeriesDate"].dt.date.iloc[-1] 
cutoff_date = last_day - pd.Timedelta(days=days) 
rng = pd.date_range(cutoff_date, last_day) 

rng = rng[(rng.dayofweek != 0) & (rng.dayofweek != 6)] 
print (rng) 
DatetimeIndex(['2015-02-28', '2015-03-03', '2015-03-04', '2015-03-05', 
       '2015-03-06', '2015-03-07', '2015-03-10'], 
       dtype='datetime64[ns]', freq=None) 

df1 = df[df['SeriesDate'].isin(rng)] 
print (df1) 
    SeriesDate Value_1 
4 2015-02-28 0.892167 
7 2015-03-03 0.903886 
8 2015-03-04 0.718148 
9 2015-03-05 0.645489 
10 2015-03-06 0.251285 
11 2015-03-07 0.139275 
14 2015-03-10 0.148077 
+1

而不是依靠日期时间索引排序和使用'iloc [-1]',使用'df ['SeriesDate']。max()'可能是可行的替代 –

+0

谢谢两个,是否有可能到达cutoff_date,以便它忽略了周末日期?如果天数= 10,cutoff_date是忽略周末的前10天。这只包括工作日。 – sg91

+0

@ sg91 - 请检查最后的编辑。 – jezrael