神经网络后向传播：偏差趋于无穷

Question

我得到了一个神经网络，旨在做反向传播。

我已经使用隐藏层

Δwji对加权更新下面=η×ΔJ×义

其中ΔJ是φ'（VJ）* EJ其中VJ =ΣIwjiyi，和对于输出层和φ'（vj）* sum（δk* wkj）对于先前层

然而，隐藏单元的偏差之一总是趋于无穷大。它的含义是什么？

编辑：

要无限的值变成是从一些神经元的一些输入值VJ。所以，这意味着我的神经网络只是加强了这样的事实，即一个特定的神经元应该总是开火？

难道这也意味着我在训练时缺乏针对这些特定输入的各种示例吗？

Answer 1

经过反复试验发现问题不是隐藏层上的神经元。在添加等于一半输入的神经元后，我开始看到结果。很难有理想数量的神经元没有官方公式。它随着每个问题而变化

Answer 2

反向传播学习的收敛不能保证每个问题和每个条件。例如，如果在无限减小的权重空间中存在某个方向，算法可能会发散。

你可以尝试降低学习率η（通常如果这个值太高，ANN会完全发散），或者改变你的问题编码或者增加训练集的种类。