Adaboost实现与决策树桩

Question

我一直在试图实施Adaboost使用决策树桩作为弱分类器，但我不知道如何给予优先加权未命名分类实例？

Answer 1

决策残段基本上是一个规定特征，阈值和极性的规则。因此，给定样本，您必须找到具有最低误差的一个特征阈值极性组合。通常您会计算错误分类并将其除以样本数以获取错误。在Adaboost中使用了一个加权误差，这意味着不是对错误分类进行计数，而是对分配给错误分类样本的权重进行总结。我希望迄今为止这一切都很清楚。

现在，为了给下一轮错误分类样本更高的优先级，您可以通过增加错误分类样本的权重或减少正确分类的样本的权重来调整分配给样本的权重。假设E是你的加权误差，你将错误分类的样本权重乘以值（1-E）/ E。由于决策残差优于随机猜测，因此E将为0，这意味着（1-E）/ E将> 1，从而权重增加（例如E = 0.4 =>（1-E）/ E = 1.5）。另一方面，如果您想减少正确分类的样品重量，请改用E /（1-E）。但是，不要忘记将权重归一化，以便它们总计为1.这对计算加权误差很重要。