功能规范化

Question

在统计中，我们几乎不会做功能规范化。我们在需要时将协变量集中在一起，但不要做标准化。在机器学习中，特别是深度学习功能规范化是最重要的。为什么它在某些应用中很重要，但在其他应用中并不重要。

Answer 1

对于机器学习方法，缩放非常重要，因为它会影响目标函数的计算。

例如，许多算法使用欧几里得距离来进行分类，如果您的某个特征的值比其他特征的值大得多，则它将主宰距离，因此您得到的预测将仅受此唯一特征的影响。

缩放也有助于渐变下降（许多算法中用于最小化误差函数的方法）会更快地收敛。支持向量机也使用标准化值更快地训练。

总之，具有相同比例的所有值有助于计算。我的猜测是，为什么它对机器学习非常重要，而对统计学不那么必要，因为机器学习算法通常具有迭代多次的循环。在每次迭代中，“超标”值越来越多地影响着模型。另一方面，统计方法没有这些循环，所以缩放并不会影响它。