反向传播训练神经网络

Question

我想使用this article进行神经网络构建，但是我遇到了一些有关权向量更新算法的问题。具体而言，使用公式marked red。 任何人都可以帮助我理解，什么是hm（i）和符号“|”手段？

Answer 1

这看起来像是back-propagation计算神经网络训练误差的梯度。 Bishop（244页）中列出的一个关键公式为：

δj = h'(aj) SUM(k, wkj δk) 

的δ是隐藏的或输出节点的预测和标值之间的误差。右边的δ条款已经被计算出来，并且对应于正在考虑的下一层输出病房。

h'术语是非线性activation function的导数，其通常是sigmoid function或tanh。在您的图片中列出的hm看起来像tanh的衍生变量的变化。

竖线是用于评估的语法：f(t) = f(x) | t。我无法确定图像中的表情是什么，我可能是错的。