gradient-descent

2热度

1回答

激活函数和初始权重的选择对神经网络是否陷入局部极小值有任何影响吗？

昨天我发布了this question，询问我的神经网络（即通过使用随机梯度下降的反向传播进行训练）是否陷入局部极小值。以下论文讨论XOR神经网络中局部极小值的问题。第一个说，没有局部最小值问题，而下一篇文章（一年后写）说2-3-1 XOR神经网络存在一个局部最小值问题（作为一个除此之外，我正在使用3-3-1即输入层和隐藏层的偏差）。这两者都是摘要（我没有访问完整的文件，所以我无法阅读）： XOR

artificial-intelligence neural-network backpropagation gradient-descent minima 2011-11-08

---

0热度

1回答

如何在matlab中编写神经网络的梯度下降代码？

我正试图在MATLAB中实现“随机梯度下降”。我完全按照算法，但我得到一个非常非常大的w（coffients）预测/拟合函数。算法中有错误吗？ 我想为我的神经网络编写梯度下降。 我有我的最终的网络的出放为（NET2），想出来把为（d），我把这个2个参数公式：E = 0.5 *（d^2-NET2）和我得到E. 所以我的问题是，我如何使用E？以及我如何在matlab中编写我的鳕鱼？以及如何将我的体重更

matlab neural-network gradient-descent 2012-02-16

---

-1热度

2回答

反向传播算法

我在网上找到一个示例，其中包含一个返回传播错误并调整权重的方法。我想知道这是如何工作的，以及使用什么样的权重更新算法。它可能是梯度下降？ /** * all output propagate back * * @param expectedOutput * first calculate the partial derivative of the err

java algorithm neural-network backpropagation gradient-descent 2012-02-24

---