神经网络乙状结肠激活与偏见更新

Question

我想弄清楚，如果我正在创建一个人工神经网络使用乙状结肠激活功能和正确使用偏见。我想要一个偏置节点输入到静态输出-1与其权重相结合的所有隐藏节点，然后一个输出到静态输出-1与其权重组合。然后，我可以像训练其他神经元一样训练这些偏见，对吗？！

Answer 1

这是一个正确的推理，但它是相当罕见设置“-1”的值（为什么不+1？），我从来没有在文献中看到过这一点。如果您维护正确的图结构，则“更新实际”节点和“偏好节点”的权重之间没有差别。如果你不存储图形结构，并且你不知道偏差（连接到输出节点的那个）没有“子节点”，所以信号没有“反向传播”到网络的更深处。我已经看到过这样的代码，它们将图层简单地存储为数组，并且它们在索引0处放置偏移，以便在反向传播期间从1开始迭代。很显然，基于图形的实现更具可读性（然而，由于无法对计算进行矢量化，速度会更慢）。