NN激活函数

Question

我需要sigmoid激活函数的可靠替代品。 sigmoid函数的问题在于格式化的输出在0和1之间。我需要输出介于0和255之间的激活函数。我用反向传播算法训练NN。如果我将使用其他功能，我是否需要调整学习算法？

Answer 1

对于您的问题最简单的解决方案是扩展您的数据。在训练期间将训练集的输出除以255，并且在使用训练好的模型时，必须将神经网络的输出乘以255.这样，您不必更改梯度计算。

Answer 2

您可以轻松地做到这一点，通过255的输出乘以这将如果更改了激活功能将数据从0刻度移动到1到0°的规模到255

，你会肯定也需要改变计算。反向传播算法使用梯度下降法，因此您需要相应地包含激活函数的导数。