为什么tensorflow在计算Sigmod的梯度时再次计算Sigmoid的输出？

Question

读取张量流的源代码我发现Sigmoid梯度计算定义如下。

Status SigmoidGrad(const AttrSlice& attrs, FunctionDef* g) { 
// clang-format off 
return GradForUnaryCwise(g, { 
    {{"y"}, "Sigmoid", {"x"}}, 
    FDH::Const("const", 1.0f), 
    {{"one"}, "Cast", {"const"}, {{"SrcT", DT_FLOAT}, {"DstT", "$T"}}}, 
    {{"a"}, "Sub", {"one", "y"}, {}, {"dy"}}, 
    {{"b"}, "Mul", {"y", "a"}},    // y * (1 - y) 
    {{"dx"}, "Mul", {"dy", "b"}},   // dy * y * (1 - y) 
}); 
// clang-format on 
} 

我的问题是，为什么tensorflow重新计算Sigmoid的输出来计算它的渐变。它不是存储在op的上下文中？

的代码块来自github

Answer 1

为什么tensorflow重新计算乙状结肠的输出的梯度？

它没有 - 这就是像tensorflow这样的框架之美。 Tensorflow will reuse nodes that can be reused.因此，渐变中的S形节点将自动重用S形计算。

请注意，节点重用比每个操作优化功能强大得多，因为优化可以发生在图中任何位置，在不同操作之间进行。乙状结肠

Answer 2

衍生物为乙状结肠的角度来计算：

因此TF可以重用一些以前的笔记来计算结果。