集成分类器与包装方法

Question

我想要结合使用集成学习（viting，堆叠等）的多个分类器（ANN，SVM，kNN等）。

为了制作分类器，我使用了20多种类型的解释变量。然而，每个分类器都有解释变量的最佳子集。因此，在包装方法中寻找每个分类器的解释变量的最佳组合， 我想用集合学习（viting，堆叠等）来组合多个分类器（ANN，SVM，kNN等）。 。

通过使用与weka元学习，我应该能够使用合奏本身。 但是我无法获得解释变量的最佳组合，因为包装器方法总结了每个分类器的预测。

我不会坚持到WEKA，如果它可以解决更容易，也许MATLAB或R.

Answer 1

随着合奏的办法，最好的结果是实现了非常简单的分类。另一方面，它可以非常快速地弥补整体成本。

这看起来似乎违反直觉：人们会想出更好的输入分类器来产生更好的输出。但是，这不起作用有两个原因。

首先，使用简单的分类器，通常可以对它们进行更改以获取不同的输入分类器集。全维方法+特征装袋为您提供了多种分类器。在内部进行特征选择或缩减的分类器使得特征套袋在获得多样性方面很大程度上不受影响。其次，像SVM这样的复杂方法更可能优化/收敛到相同的结果。毕竟，复杂的方法应该经过一个更大的搜索空间，并在这个搜索空间中找到最好的结果。但是这也意味着，你更有可能再次获得相同的结果。 最后但并非最不重要的是，当使用非常原始的分类器时，错误表现得更好，并且更有可能在集合组合上更均匀。