Tensorflow，节点已经死了

Question

我正在学习tensorflow过程，但是有很多难以理解的过程。

1. 我不完全理解的术语之一是关于节点。在源代码（C++核心）中，有许多不同类型的节点。不过，我对死亡节点感到好奇。它会和常量节点不同。我想知道死亡节点存在的原因，换句话说，死亡节点的作用。

2. 什么是实时数据vs死亡数据？这就像没有使用过的数据和已经使用过的数据？ ......我想我对这个词还没有完全理解。它可以在功能ActivateNodes（）（executor.cc）

显示在我认为这些问题可以是研究tensorflow如此基本，但是我想确切地知道。

感谢

Answer 1

首先，死者张量TensorFlow的控制流结构的实现细节：tf.cond()和tf.while_loop()。这些构造使TensorFlow能够确定是否基于数据相关值执行子图。

让我们考虑更简单的tf.cond(pred, true_fn, false_fn)的情况。 pred的值确定是否将执行true_fn或false_fn中的操作。在当前的实施中，pred馈送到Switch op，其在一个输入上发送常规张量并在另一个输入上发送死张量。如果pred为真，则将死张量沿output_false发送（反之亦然）。tf.cond()实施已设置，以便true_fn中的操作依赖于output_true，而false_fn中的操作取决于output_false。

当张量收到死张量作为其输入之一时，它不执行;相反，它会在其所有输出中发送一个死张量。这种死张量传播确保只有适当分支中的操作才会执行。

tf.cond()如何阻止死张量一直传播到输出？第二个特殊操作，称为Merge op以不同的方式处理死输入。 A Merge op具有两个或更多个输入，并且它期望得到除输入的一个之外的所有的死输入;然后它将未死输入转发给它的输出。 tf.cond()使用Merge运算符合并来自true_fn和false_fn的结果，因此所采用分支的结果作为整体tf.cond()子图的输出返回。