Pytorch张量/数据集的调整大小副本

Question

我有一个自制的数据集，数百万行。我正在尝试制作截断的副本。所以我剪下我用来制作原始数据集并创建一个新数据集的张量。但是，当我保存只有20K行的新数据集时，它与原始数据集的磁盘大小相同。否则一切似乎犹太教，包括，当我检查，新张量的大小。我究竟做错了什么？

#original dataset - 2+million rows 
dataset = D.TensorDataset(training_data, labels) 
torch.save(dataset, filename) 

#20k dataset for experiments 
d = torch.Tensor(training_data[0:20000]) 
l = torch.Tensor(labels[0:20000]) 
ds_small = D.TensorDataset(d,l) 
#this is the same size as the one above on disk... approx 1.45GB 
torch.save(ds_small, filename_small) 

感谢

Answer 1

在你的代码d和training_data共享相同的内存，即使你创造d过程中使用切片。我不知道为什么是这样的话，但是无论如何回答，给你一个解决方案：

d = x[0:10000].clone() 
l = y[0:10000].clone() 

clone会给你独立于旧张量和文件大小会小很多记忆张量。在使用torch.Tensor()

注意，因为training_data创建d和l时和labels已经张量是没有必要的。