导出熊猫数据框，同时保留模式

Question

我正在处理一个数据框，其每一行由不同的python字典组成。我希望能够将这些数据存储到磁盘并移动这些数据，但将数据保存为.csv文件格式会使格式化信息消失。有没有可以导出数据框而不丢失其模式的任何格式？

我可以用.parquet格式在pyspark中做类似的事情。熊猫支持有什么等价物吗？

Answer 1

我认为你可以使用DataFrame.to_pickle和pandas.read_pickle：

df = pd.DataFrame({'a':[{'A':1,'B':2}, {'C':7}], 
        'b':[{'D':7}, {'A':8,'C':3}]}) 

print (df) 
        a     b 
0 {'A': 1, 'B': 2}   {'D': 7} 
1   {'C': 7} {'A': 8, 'C': 3} 

print (df.applymap(type)) 
       a    b 
0 <class 'dict'> <class 'dict'> 
1 <class 'dict'> <class 'dict'> 

df.to_pickle('data.pkl') 

df = pd.read_pickle('data.pkl') 
print (df) 
        a     b 
0 {'A': 1, 'B': 2}   {'D': 7} 
1   {'C': 7} {'A': 8, 'C': 3} 

print (df.applymap(type)) 
       a    b 
0 <class 'dict'> <class 'dict'> 
1 <class 'dict'> <class 'dict'>