层规范化总是优于批量规范化深度学习

Question

最近开发的Layer Normalization方法解决了与Batch Normalization相同的问题，但计算开销较低，并且不依赖批处理，因此可以在培训和测试期间始终如一地应用它。

我的问题是，是层正常化永远比批标准化，或者还有一些情况下，批标准化是有益的？

Answer 1

在图层标准化的论文中，它指出批量标准化对卷积神经网络更好。因此，它取决于应用程序类型。它给出了一个原因：如果每个神经元给出相似的贡献，那么移位和缩放将会很好地工作，然而，由于在图像的边界处，神经元的活动是非常不同的，所以并非如此。 因此，请尝试仅将它应用于完全连接的层和RNN。尽管至少对于前者而言，根据批量大小和问题类型，BN也可能表现优于LN。