熊猫read_hdf按日期和时间范围查询

Question

我有一个关于如何过滤pd.read_hdf函数结果的问题。所以这里是设置，我有一个熊猫数据框（与np.datetime64索引），我把它放入一个hdf5文件。这里没有什么奇特的东西，所以没有使用层次结构或任何东西（也许我可以把它合并？）。这里有一个例子：

store = pd.HDFStore('qux.h5') 
#generate df 
store.append('data', df) 
store.close() 

接下来，我将有另一个进程它访问数据，我想借此日期：

       Foo   Bar 
TIME           
2014-07-14 12:02:00   0   0 
2014-07-14 12:03:00   0   0 
2014-07-14 12:04:00   0   0 
2014-07-14 12:05:00   0   0 
2014-07-14 12:06:00   0   0 
2014-07-15 12:02:00   0   0 
2014-07-15 12:03:00   0   0 
2014-07-15 12:04:00   0   0 
2014-07-15 12:05:00   0   0 
2014-07-15 12:06:00   0   0 
2014-07-16 12:02:00   0   0 
2014-07-16 12:03:00   0   0 
2014-07-16 12:04:00   0   0 
2014-07-16 12:05:00   0   0 
2014-07-16 12:06:00   0   0 

现在，我使用下面的命令保存到一个.h5这/这个数据的时间片。因此，假设我想要2014-07-14和2014-07-15之间的日期，并且只在12:02:00和12:04:00之间。目前我使用下面的命令来检索此：

pd.read_hdf('qux.h5', 'data', where='index >= 20140714 and index <= 20140715').between_time(start_time=datetime.time(12,2), end_time=datetime.time(12,4)) 

据我所知，有人请纠正我，如果我错了这里，但如果我使用'整个原始数据集不会被读入内存哪里'。所以，换句话说：

此：

pd.read_hdf('qux.h5', 'data', where='index >= 20140714 and index <= 20140715') 

是不一样的：

pd.read_hdf('qux.h5', 'data')['20140714':'20140715'] 

虽然最终的结果是完全一样的，什么东西被在后台完成是没有的。所以我的问题是，是否有办法将时间范围过滤器（即betweenbetweentime（））合并到我的where语句中？或者如果还有另一种方法我应该构建我的hdf5文件？也许每天都会储存一张桌子？

谢谢！

编辑：

采用层次结构关于，我知道的是，结构应该是高度依赖于我如何将要使用的数据。但是，如果我们假设我为每个日期定义了一个表（例如'df/date_20140714'，'df/date_20140715'，...）。我可能再次在这里弄错了，但用我查询日期/时间范围的例子;我可能会招致性能损失，因为我需要阅读每个表，并且如果我想要合并输出，就必须合并它们。

Answer 1

请参阅使用where mask

选择的例子这里有一个例子

In [50]: pd.set_option('max_rows',10) 

In [51]: df = DataFrame(np.random.randn(1000,2),index=date_range('20130101',periods=1000,freq='H')) 

In [52]: df 
Out[52]: 
          0   1 
2013-01-01 00:00:00 -0.467844 1.038375 
2013-01-01 01:00:00 0.057419 0.914379 
2013-01-01 02:00:00 -1.378131 0.187081 
2013-01-01 03:00:00 0.398765 -0.122692 
2013-01-01 04:00:00 0.847332 0.967856 
...      ...  ... 
2013-02-11 11:00:00 0.554420 0.777484 
2013-02-11 12:00:00 -0.558041 1.833465 
2013-02-11 13:00:00 -0.786312 0.501893 
2013-02-11 14:00:00 -0.280538 0.680498 
2013-02-11 15:00:00 1.533521 -1.992070 

[1000 rows x 2 columns] 

In [53]: store = pd.HDFStore('test.h5',mode='w') 

In [54]: store.append('df',df) 

In [55]: c = store.select_column('df','index') 

In [56]: where = pd.DatetimeIndex(c).indexer_between_time('12:30','4:00') 

In [57]: store.select('df',where=where) 
Out[57]: 
          0   1 
2013-01-01 00:00:00 -0.467844 1.038375 
2013-01-01 01:00:00 0.057419 0.914379 
2013-01-01 02:00:00 -1.378131 0.187081 
2013-01-01 03:00:00 0.398765 -0.122692 
2013-01-01 04:00:00 0.847332 0.967856 
...      ...  ... 
2013-02-11 03:00:00 0.902023 1.416775 
2013-02-11 04:00:00 -1.455099 -0.766558 
2013-02-11 13:00:00 -0.786312 0.501893 
2013-02-11 14:00:00 -0.280538 0.680498 
2013-02-11 15:00:00 1.533521 -1.992070 

[664 rows x 2 columns] 

In [58]: store.close() 

几点要注意。这读入整个索引开始。通常这不是一种负担。如果是这样，你可以大块地读取它（提供启动/停止，虽然它有点手动来做这​​个ATM）。当前select_column我不相信也可以接受查询。

如果您拥有大量数据（数千万行宽，这可能会更有效），那么您可能会迭代过去的日子（并执行单个查询）。

重组数据是相对便宜的（通过concat），所以不要害怕子查询（尽管做得太多也会拖拽perf）。