当使用批量训练神经网络时,是否应该在每个时间点(在看到整个数据一段时间后)后增加精度(训练和验证)?必须在每个纪元后增加精度吗?
我希望能够快速判断网络设置(学习率,节点数量等)是否合理。似乎有必要看到整个数据集越多,性能应该越好。因此,如果性能在一个时代下降,我是否应该担心有什么不对(高学习率,高偏差)? (或者我总是要等几个时代才能判断?)
当使用批量训练神经网络时,是否应该在每个时间点(在看到整个数据一段时间后)后增加精度(训练和验证)?必须在每个纪元后增加精度吗?
我希望能够快速判断网络设置(学习率,节点数量等)是否合理。似乎有必要看到整个数据集越多,性能应该越好。因此,如果性能在一个时代下降,我是否应该担心有什么不对(高学习率,高偏差)? (或者我总是要等几个时代才能判断?)
我会说它取决于数据集和体系结构。因此,波动是正常的,但总的来说损失应该会有所改善。你可以看看这些实用的指南,以更好地诠释损耗曲线:
http://cs231n.github.io/neural-networks-3/#loss
https://blog.slavv.com/37-reasons-why-your-neural-network-is-not-working-4020854bd607
是的,在一个完美的世界中人们所期望的测试精度提高。如果测试精度开始下降,可能是您的网络过度配合。您可能希望在达到这一点之前停止学习,或采取其他措施来解决过度问题。
此外,它可能是测试数据集中的噪声结果,即错误标记的示例。