神经网络训练中的MSE

训练期间MSE是否可能增加？神经网络训练中的MSE

我目前正在计算验证集的每个时期的MSE，并且在特定点上，MSE开始增加而不是减少。有人对此行为有解释吗？

来源

2016-07-28 Bastian Schoettle

回答你的问题：是的，这是可能的。

如果您正在使用正规化或随机训练，MSE在训练时会出现一些起伏。

一些可能的原因的问题

您使用的是学习率过高，这让来过冲成本函数的局部极小的问题。
神经网络过度拟合。训练过多，失去推广能力。

你可以尝试什么：

当此开始发生，降低你的学习速度。
在您的网络上应用某种正则化，如退出，以避免过度配合。

来源

2016-07-28 19:47:24

谢谢您的回答！我也考虑过学习率。过度配合是一个好点。我没有想过这件事。你知道有什么好的方法来调整学习速度吗？ –

您可以手动执行此操作，检测MSE何时增加并将学习速率降低一位小数。例如，如果使用0.01将其更改为0.001。如果您使用随机梯度下降作为优化函数，则可以搜索优化算法，如Adam https://arxiv.org/abs/1412.6980。 Tensorflow已经实现了Adam优化器。希望能帮助到你。 –

谢谢！我会看看Adam，并尽可能实施它。我经常懒得手动做事:)根据你的经验：体重衰减是否值得作为正规化来实施？ –

神经网络训练中的MSE

回答

相关问题