为序列创建序列（seq2seq）张量流模型？

Question

我有一个训练有素的tensorflow seq2seq 30个时代的模型，并为每个时代保存了一个检查点。我现在想要做的就是将这些检查点中最好的X（基于开发集合上的结果）相结合。具体而言，我正在寻找一种方法，让我平均不同的模型权重，并将它们合并成可用于解码的新模型。然而，似乎并没有一套方法，加载不同的模型可能有点棘手。但即使这个成功，我也无法找到一个很好的答案，如何在新模型中组合权重。

任何帮助将不胜感激。

相关问题（不足够，我认为回答）：

Building multiple models in the same graph

How to load several identical models from save files into one session in Tensorflow

How to create ensemble in tensorflow?

Answer 1

做几个模型的权重的平均值，以产生一个新的不太可能产生有用的结果。

举一个简单的例子，考虑像AlexNet这样的传统CNN。它的第一层将包含一系列2d过滤器，以寻找不同的图像特征。对于你从零开始训练的每个模型，过滤器中可能会出现类似的特征，但是它们发生的顺序会有很大的不同，所以仅仅平均权重就会破坏大部分信息。