使用CNTK通过在每个生成步骤采样生成序列

在具有编码器和解码器的seq2seq模型中，在每个生成步骤，softmax层输出整个词汇表的分布。在CNTK中，通过使用C.hardmax函数可以很容易地实现贪婪的解码器。它看起来像这样。使用CNTK通过在每个生成步骤采样生成序列

def create_model_greedy(s2smodel): 
    # model used in (greedy) decoding (history is decoder's own output) 
    @C.Function 
    @C.layers.Signature(InputSequence[C.layers.Tensor[input_vocab_dim]]) 
    def model_greedy(input): # (input*) --> (word_sequence*) 
     # Decoding is an unfold() operation starting from sentence_start. 
     # We must transform s2smodel (history*, input* -> word_logp*) into a generator (history* -> output*) 
     # which holds 'input' in its closure. 
     unfold = C.layers.UnfoldFrom(lambda history: s2smodel(history, input) >> **C.hardmax**, 
            # stop once sentence_end_index was max-scoring output 
            until_predicate=lambda w: w[...,sentence_end_index], 
            length_increase=length_increase) 
     return unfold(initial_state=sentence_start, dynamic_axes_like=input) 
    return model_greedy

但是，在每一步我都不想以最大概率输出令牌。相反，我想要一个随机解码器，根据词汇表的概率分布生成一个标记。

我该怎么做？任何帮助表示赞赏。谢谢。

来源

2017-08-14 meijiesky

在采用hardmax之前，您可以在输出端添加噪声。特别是，您可以使用C.random.gumbel或C.random.gumbel_like按比例对exp(output)进行采样。这就是所谓的gumbel-max trick。 cntk.random模块还包含其他分布，但如果您有日志概率，则最有可能希望在hardmax之前添加gumbel噪声。有些代码：

@C.Function 
def randomized_hardmax(x): 
    noisy_x = x + C.random.gumbel_like(x) 
    return C.hardmax(noisy_x)

然后你hardmax与randomized_hardmax取代。

来源

2017-08-16 18:19:49

WOWWWWWWW，令人惊叹！非常感谢。你是如此的乐于助人！ – meijiesky

那么你怎么upvote我的答案呢？ –

我没有15这个新帐户的声望...我现在在中国，我无法登录到我的Gmail帐户或使用Facebook帐户。一回到美国，我会尽快回复您的答案。再次感谢你。 – meijiesky

非常感谢Nikos Karampatziakis。

如果您想要有一个随机采样解码器来生成与目标序列长度相同的序列，那么以下代码可以工作。

@C.Function 
def sampling(x): 
    noisy_x = x + C.random.gumbel_like(x) 
    return C.hardmax(noisy_x) 

def create_model_sampling(s2smodel): 
    @C.Function 
    @C.layers.Signature(input=InputSequence[C.layers.Tensor[input_vocab_dim]], 
         labels=LabelSequence[C.layers.Tensor[label_vocab_dim]]) 
    def model_sampling(input, labels): # (input*) --> (word_sequence*) 
     unfold = C.layers.UnfoldFrom(lambda history: s2smodel(history, input) >> sampling, 
            length_increase=1) 
     return unfold(initial_state=sentence_start, dynamic_axes_like=labels) 
    return model_sampling

来源

2017-08-17 02:21:04 meijiesky

使用CNTK通过在每个生成步骤采样生成序列

回答

相关问题