神经网络：代价不稳定

-1

我实现了一个简单的神经网络，用于python中的图像分类（一类）。图层很简单（image_matrix，5,1）。对隐藏层使用relu和sigmoid。
我正在迭代5000次。起初看起来成本是以合理的方式逐渐下降的。
但是，无论有多少训练示例使用，或者我learning_rate是什么，成本开始每次大约3000次迭代后运行不稳定...
cost（点击看原图）
有人可以帮助我了解什么是继续？
谢谢神经网络：代价不稳定

来源

2017-10-12 Jimmy

还提供您的培训和验证准确度图表 – Maxim

对不起，我很新这个...你能告诉我什么样的图表会有帮助吗？ Thx – Jimmy

你使用ML库（tensorflow或keras）或纯numpy？你能分享你的代码吗？基本上，我要求你在训练过程中评估你的模型。这将有助于理解问题。 – Maxim

在训练模型中，你应该记住他们的成本是多个局部最小值。您的图表显示您的成本正在围绕这个当地最低标准移动，同时找到您的全球最小值，这是寻找模型最佳性能的目标。

1st - 您应该尝试检查每次迭代/时期的准确性，f1分数或损失，以检查性能是否实际提高。

2日 - 做交叉验证和检查上面的验证

3相同的指标 - 实现早日停止功能，如果你是模型，改善或不应该进行检查。

*注意：找到能够帮助您更好地找到全局最小值的最佳alpha值。

来源

2017-10-12 10:44:27

Thx。我会试着看看这些metricx，并实施你的建议 – Jimmy

没有问题！祝你好运！ –

神经网络：代价不稳定

回答

相关问题