神经网络回归模型输出层的激活函数

Question

我一直在用神经网络进行实验。我遇到了有关要使用的激活功能的一般问题。这可能是一个众所周知的事实，但我无法正确理解。我见过的很多例子和论文都是关于分类问题的，他们在输出层使用sigmoid（二进制）或softmax（多类的情况下）作为激活函数，这很有意义。但是我没有看到在回归模型的输出层中使用了任何激活函数。

所以我的问题是，它是由选择我们不使用任何激活函数在回归模型的输出层，因为我们不希望激活函数限制或对该值进行限制。输出值可以是任意数字，也可以大到数千，所以像sigmoid到tanh这样的激活函数是没有意义的。还是有其他原因吗？或者我们实际上可以使用一些激活功能来解决这些问题？

Answer 1

如果你有，比如说，一个乙状结肠在你NN的输出层的激活功能，您将永远不会小于0和大于1

基本上，如果数据your're试图预测任何值分布在你可能用Sigmoid函数处理的范围内，并测试你的预测是否在你的训练集上表现良好。

更普遍的是，当预测数据时，您应该使用最有效的方式表示数据的函数。因此，如果您的实际数据不适合Sigmoid函数，那么您必须考虑任何其他函数（例如，某些多项式函数，或周期函数或任何其他函数或它们的组合），但您也应该始终关心如何轻松您将建立您的成本函数并评估衍生工具。