神经网络的softmax激活功能的实现我在神经网络的最后一层使用了激活功能<a href="http://en.wikipedia.org/wiki/Softmax_activation_function" rel="nofollow noreferrer">Softmax</a>

Question

。但是我对这个函数的安全实现有问题。

一个天真的实施将是这一个：

Vector y = mlp(x); // output of the neural network without softmax activation function 
for(int f = 0; f < y.rows(); f++) 
    y(f) = exp(y(f)); 
y /= y.sum(); 

这并不适用于> 100个隐藏节点的工作非常好，因为在y将在许多情况下NaN（如果y（F）> 709，EXP（ y（f））将返回inf）。我想出了这个版本：

Vector y = mlp(x); // output of the neural network without softmax activation function 
for(int f = 0; f < y.rows(); f++) 
    y(f) = safeExp(y(f), y.rows()); 
y /= y.sum(); 

其中safeExp被定义为

double safeExp(double x, int div) 
{ 
    static const double maxX = std::log(std::numeric_limits<double>::max()); 
    const double max = maxX/(double) div; 
    if(x > max) 
    x = max; 
    return std::exp(x); 
} 

此功能限制exp的输入。在大多数情况下，这是有效的，但不是所有情况下，我都没有真正设法找出哪些情况下不起作用。当我在上一层有800个隐藏的神经元时，它根本不起作用。

然而，即使这个工作我不知怎的“扭曲”的人工神经网络的结果。你能想出任何其他方式来计算正确的解决方案吗？是否有任何C++库或技巧可用于计算此ANN的确切输出？

编辑：由伊塔马尔·卡茨提供的解决方案是：

Vector y = mlp(x); // output of the neural network without softmax activation function 
double ymax = maximal component of y 
for(int f = 0; f < y.rows(); f++) 
    y(f) = exp(y(f) - ymax); 
y /= y.sum(); 

它真的是数学上是相同的。但实际上，由于浮点精度，一些小值变为0。我想知道为什么没有人将这些实现细节写在教科书中。

Answer 1

首先进入对数刻度，即计算log(y)而不是y。分子的记录是微不足道的。为了计算分母的日志，你可以使用下面的'技巧'：http://lingpipe-blog.com/2009/06/25/log-sum-of-exponentials/

Answer 2

我知道它已经回答了，但我会在这里发布一步一步的反正。

穿上日志：

zj = wj . x + bj 
oj = exp(zj)/sum_i{ exp(zi) } 
log oj = zj - log sum_i{ exp(zi) } 

设M为max_i {字}使用对数和-EXP招：

log oj = zj - log {sum_i { exp(zi + m - m)}} 
    = zj - log {sum_i { exp(m) exp(zi - m) }}, 
    = zj - log {exp(m) sum_i {exp(zi - m)}} 
    = zj - m - log {sum_i { exp(zi - m)}} 

术语EXP（ZI-M）可能遭受溢如果m比其他z_i大得多，但没关系，因为这意味着z_i与标准化后的softmax输出无关。最终结果是：

oj = exp (zj - m - log{sum_i{exp(zi-m)}})