现有功能的组合是否具有新功能？

Question

如果我添加现有特征的线性，非线性combinatinos，它有助于更​​好地进行分类吗？例如，它是否有助于将平均值，方差作为从现有功能计算出的新功能添加？我相信它肯定取决于分类算法，就像在PCA的情况下一样，算法本身会生成相互正交的新特征，并且是输入特征的线性组合。但是在基于决策树的分类器或其他分类器的情况下它是如何起作用的呢？

Answer 1

是的，现有功能组合可以提供新功能和帮助分类。此外，特征与其自身的组合（例如，来自特征的多项式）可以用作分类期间要使用的这个附加数据。

作为一个例子，考虑对数回归分类器与这种线性公式作为其核心：

g(x, y) = 1*x + 2*y 

试想，您有2个观察值：

1. X = 6; y = 1
2. x = 3; y = 2.5

在这两种情况下，g()将等于8.如果观察属于不同类别，则无法区分它们。但是，让我们增加一个变量（功能）z，这是前2个功能组合 - z = x * y：

g(x, y, z) = 1*x + 2*y + 0.5*z 

现在对于相同的看法，我们有：

1. X = 6; y = 1; z = 6 * 1 = 6 ==> g（）= 11
2. x = 3; y = 2.5; z = 3 * 2.5 = 7.5 ==> g（）= 11.75

所以现在我们得到2个不同的点并且可以区分2个观测值。

多项式特征（X^2，X^3，Y^2等）不给附加分，但功能代替变化的曲线图。例如，g(x) = a0 + a1*x是一条线，而g(x) = a0 + a1*x + a2*x^2是抛物线，因此可以更密切地适合数据。

Answer 2

一般来说，拥有更多功能总是更好。除非你有很强的预测功能（也就是说它们可以完全分离预测的类），否则我总是会建议添加更多的功能。实际上，许多分类算法（特别是决策树诱导因子）无论如何都为其目的选择最佳特征。