如何将HDF5文件转换为Parquet文件？

Question

我通过pandas.HDFStore()通过熊猫将大约800 GB的巨大数据帧存储到HDF5中。

import pandas as pd 
store = pd.HDFStore('store.h5') 
df = pd.Dataframe() # imagine the data being munged into a dataframe 
store['df'] = df 

我想查询这与Impala。有没有一种简单的方法将这些数据解析成Parquet？还是Impala允许您直接使用HDF5？ HDF5上还有其他数据选择吗？

Answer 1

我还没有尝试过这个，但是这里是一个链接，显示如何使用Spark将HDFStore转换为实木复合地板：https://gist.github.com/jiffyclub/905bf5e8bf17ec59ab8f。