2016-05-07 45 views
4

Batch normalization使用小批量平均值和方差来标准化图层输出。如果我训练批量大小的网络(比如说100),但是希望在单次预测(批次大小1)上使用训练好的网络,我是否应该遇到问题? 为了避免这种情况,我应该惩罚批量规范层以便在学习期间向身份转换收敛吗?批量标准是否需要恒定的批量大小?

回答

3

不,这样做没有问题,在测试时间批处理规范化层只是缩放和移动输入,并且在训练时学习到的因素。

+0

如果我的测试输入是异常值,是不是中心不正确?将批量规范设置为使用完整训练集的均值/覆盖率是否更好? – Mageek

+0

啊我明白了。您在说我们不会在测试时重新计算最小批处理均值和协方差。这就说得通了。 – Mageek

+0

是的,在测试时没有什么东西可以学到。 –