将参数复制为常量值？

Question

我训练了一个含有大量数据（使用CNTK）的语音模型，并且需要将其调整为低资源语言。由于目标语言中的数据量太小，我决定使用前三层原始模型（作为常量）并在顶部附加两个前馈层。我找不到明确的方法来做到这一点。

为了简化起见，假定我原来的模式是：

model1 = Sequential([Recurrence(LSTM(1024, use_peepholes=True)), Dense(40), Recurrence(LSTM(1024, use_peepholes=True)), Dense(256), Dense(num_classes1)]) 

，我需要我的低资源模型是这样的：

model2 = Sequential([Recurrence(LSTM(1024, use_peepholes=True)), Dense(40), Recurrence(LSTM(1024, use_peepholes=True)), Dense(128), Dense(num_classes2)]) 

如何我可以复制的第一个三层的参数model1到model2作为常量值（不在model2的训练过程中更新）？

Answer 1

您可以克隆网络并冻结参数。该文件可以在这里找到：

https://cntk.ai/pythondocs/graph.html?highlight=clone%20freeze#cntk.ops.functions.CloneMethod

你可以发现在这里： https://github.com/Microsoft/CNTK/blob/77154a7f7288d4b119e415039be6471565fceccf/Examples/Image/TransferLearning/TransferLearning.py