无法加载CIFAR-10数据集：无效加载键'\ x1f'

Question

我目前在TensorFlow中使用一些神经网络 - 我决定尝试使用CIFAR-10数据集。我从网站上下载了“CIFAR-10 python”数据集：https://www.cs.toronto.edu/~kriz/cifar.html。

在Python，我也直接试图复制提供的是，代码加载数据：

def unpickle(file): 
import pickle 
with open(file, 'rb') as fo: 
    dict = pickle.load(fo, encoding='bytes') 
return dict 

然而，当我运行此，我结束了以下错误：_pickle.UnpicklingError: invalid load key, '\x1f'.我也尝试使用gzip模块（with gzip.open(file, 'rb') as fo:）打开文件，但这也不起作用。

数据集简直是坏的，或者这是代码问题？如果数据集不好，我可以在哪里获得CIFAR-10的正确数据集？

Answer 1

提取您的*。广州文件，并使用此代码

from six.moves import cPickle 
f = open("path/data_batch_1", 'rb') 
datadict = cPickle.load(f,encoding='latin1') 
f.close() 
X = datadict["data"] 
Y = datadict['labels'] 

Answer 2

好像你需要解压* GZ文件，然后解压* tar文件得到data_batches的文件夹中。之后你可以在这些批次上应用pickle.load（）。