信息增益的负值

我正在实施C4.5，并在我的计算中得到（对于某些示例）信息增益的负值。我读了Why am I getting a negative information gain，但我的发现看起来不一样。我推杆我的计算脱颖而出，我也得到了相同的结果如下：信息增益的负值

我到底做错了什么？

我试图重新计算它的，也是我得到负值是在下面的图片： Newest calculations with data set 80分的值，所以我得到11 < = 80和3objects> 80

您使用的熵的公式是什么？ – slcott

熵公式： - SUM（概率* LOG（BASE 2，概率）） – user3785803

你乘以你的结果对于熵由-1？

$$ H（X）= - \ sum_ {I = 1}^N {\ mathrm {P}（X_I）\ log_b \ mathrm {P}（X_I）} $$

唉.. 。使用mathjax时遇到问题，go here for definition

2017-02-09 20:03:31 slcott

是的，我将熵乘以-1，例如。公式= - （N3 * LOG（N3; 2）+ O3 * LOG（O3; 2）） – user3785803

回答