如何为我的张量流模型选择优化器？

Question

Tensorflow似乎拥有大量的优化程序，是否有任何高级指南（或评论文章），哪一个最适合特定类别的损失函数？

Answer 1

这取决于你的数据集和NN模型，但一般来说，我会从亚当开始。本文中的图2（http://arxiv.org/abs/1412.6980）显示Adam运作良好。

另外，还可以从 http://www.denizyuret.com/2015/03/alec-radfords-animations-for.html看到一个非常漂亮的动画。