训练方法seq2seq模型的选择

Question

您可能会推荐什么样的训练方法来训练基于注意力的序列来排序神经机器翻译模型？ SGD，Adadelta，Adam还是更好的？请给点建议，谢谢。

Answer 1

使用像Adam或Adadelta或RMSProp这样的自适应梯度算法。我倾向于使用亚当，并总是与修剪渐变相结合。

自适应梯度算法具有每个参数的学习率。当你有一些参数可能更稀疏（提高其学习率）或不稀疏（降低其学习率）的模型时，这非常有用。如果您正在使用神经机器翻译等工具，这种稀疏性是一个问题。亚当在计算上更昂贵一些，但我们可以给出很好的结果。