CLDNN（tensorflow）中的尺寸减少

Question

我正在尝试使用张量流编写CLDNN的实现，就像this scheme中的那个一样。我遇到了尺寸缩小图层的问题。

据我了解，它是由几个堆叠式限制玻尔兹曼机器（RBMs）制成的，并且像自动编码器一样工作。该层的解码器部分仅用于训练编码器以减小井的尺寸。这意味着您要将编码器的输出“插入”下一层的输入。

我可以定义一个损失函数来训练自动编码器（通过比较解码输出的输入）和其他损失函数来训练整个图形。我有一种方法来训练这两种损失函数吗？ 或者我可能误解了这里的问题，但是我觉得autoencoder的解码器部分有点遗留在“循环外”，不会被训练。

我已经找到了实现这种自动编码，并convolutionnal层，等...但我真的不知道如何（在方案等）“插入”自动编码网络内部

Answer 1

纸说

计算网络工具包（CNTK）[24]用于神经网络训练。如[14]所示，我们对所有层进行均匀的随机加权初始化，没有生成或有区别的预训练[1]。

图中的尺寸减少只是一个密集的投影层。所以他们不会训练任何自动编码器，他们只是配置网络架构，并从随机初始状态训练网络。

Autoencoders之前用于子网络初始化，但它们现在不太流行。