故意过度使用神经网络

Question

从技术上讲，考虑到网络足够复杂并且有足够的时间，是否可以将任何数据集过度拟合到训练误差为0的点？

Answer 1

神经网络是通用逼近，这几乎意味着，只要存在一个确定的映射f起输入到输出，总有存在一组参数（足够大的网络），让你的错误这是arbitrarly接近到最小可能的错误，但：

• 如果数据集是无限的（这是一个分布），那么最少可获得误差（称为贝叶斯风险）可以大于零更大，钻，而一些价值e（非常多不同类别/值的“重叠”的度量）。
• 如果映射f是不确定的，然后再有一个非零贝叶斯风险E（这是说，一个给定的点可以有“多”的价值观，以给定的概率的数学方法）
• arbitrarly接近不是意味着最小。所以即使最小误差为零，也并不意味着你只需要“足够大”的网络来达到零，你可能总是以veeeery小epsilon结束（但你可以减少它，只要你想）。例如，对于具有sigmoid/softmax输出的分类任务进行培训的网络永远不可能获得最小的对数丢失（交叉熵丢失），因为您始终可以将激活“移近1”或“接近0”，但您无法实现这些。

所以从数学的角度来看，答案是没有，从实际的角度来看 - 有限的训练集和确定性映射的假设下 - 答案是肯定的。

特别是当您询问准确度的分类，并且您有每个数据点具有唯一标签的有限数据集时，则可以通过手动方式构建100％准确度的神经网络。然而，这并不意味着最小可能的损失（如上所述）。因此，从优化的角度来看，您不会获得“零误差”。