Caffe：如果只有一小批适合内存，我该怎么办？

Question

我想训练一个非常大的模型。因此，我只能将非常小的批量放入GPU内存。使用小批量处理的结果非常有noisy gradient estimations。
我能做些什么来避免这个问题？

Answer 1

您可以在求解器参数中更改iter_size。 Caffe在每个随机梯度下降步骤中通过iter_size x batch_size实例累积梯度。 因此，如果由于内存有限无法使用较大的batch_size，那么增加iter_size也可以获得更稳定的渐变。

Answer 2

如this post中所述，批量大小在理论上不是问题（随机梯度下降的效率已经用批量大小1证明）。确保你正确地实施你的批次（样本应该随机挑选你的数据）。