朱古力损失似乎并没有减少

Question

我的参数

base_lr: 0.04 
max_iter: 170000 
lr_policy: "poly" 
batch_size = 8 
iter_size =16 

这是

一些训练过程中的样子到现在为止：

这里的损失似乎停滞，是有问题这里还是这个正常？

Answer 1

对于我来说，解决方案是在从solverstate快照恢复训练之前将基础学习率降低10倍。

要自动实现这一相同的解决方案，你可以设置“伽马”，并在你的solver.prototxt“步长”参数：

base_lr: 0.04 
stepsize:10000 
gamma:0.1 
max_iter: 170000 
lr_policy: "poly" 
batch_size = 8 
iter_size =16 

这将通过的10每10,000次迭代的因素降低base_lr。

请注意，损失值在两个值之间波动是正常的，甚至在下跌之前徘徊在恒定值附近。这可能是你的问题的原因，我会建议训练超过1800次迭代，然后再回到上面的实现。查找咖啡火车损失日志的图表。

此外，请将所有未来的问题指向caffe mailing group。这是所有咖啡问题和解决方案的中心位置。

我自己一直在努力，在找出解决方案之前，没有找到解决方案。希望对我有用的东西会为你工作！