基尼系数

另一个衡量不纯的公式

G(p)=1−p2−(1−p)2G(p) = 1 - p^2 - (1-p)^2

读法:从这堆样本里随机抽两个,它们不是同一类的概率。

  • p=0p = 0 或 11:抽两个一定同类,G=0G = 0

  • p=0.5p = 0.5:抽两个有一半概率不同类,G=0.5G = 0.5

两条曲线形状几乎一样,只是纵轴比例不同

为什么形状一样

熵和基尼都是“pp 越接近 0.5 越大、越接近 0 或 1 越小”的凹函数。

把你的数据代进去算,两者给出的“哪个特征更好”的顺序几乎总是一致。差别只在数值上。

用基尼算一遍同一份数据

根节点:9 去 5 不去。

G总=1−(9/14)2−(5/14)2=0.459G_{\text{总}} = 1 - (9/14)^2 - (5/14)^2 = 0.459

按天气分:

  • 晴(2 去 / 3 不去):1−0.16−0.36=0.481 - 0.16 - 0.36 = 0.48

  • 阴(4 去 / 0 不去):00

  • 雨(3 去 / 2 不去):0.480.48

G天气=514(0.48)+414(0)+514(0.48)=0.343G_{\text{天气}} = \frac{5}{14}(0.48) + \frac{4}{14}(0) + \frac{5}{14}(0.48) = 0.343

基尼增益 = 0.459−0.343=0.1160.459 - 0.343 = 0.116。

特征

熵增益

基尼增益

天气

0.247

0.116

湿度

0.152

0.092

风

0.048

0.031

温度

0.029

0.019

排序完全一样。数值不同,但该选谁、该先问谁,结论一致。

那为什么实际用基尼

因为快。熵要算 log⁡\log,基尼只有平方和。在大数据集上,建树要算成千上万次增益,这个差别很实在。

sklearn 的 DecisionTreeClassifier 默认 criterion="gini",就是这个原因。

熵还有用吗

有。当你想解释“这棵树为什么这么分”时,熵的单位(bit)有实际含义:减少了 0.247 bit 的不确定性。

基尼没有这样的单位,它只是个纯度指标。

这一课解决了什么

不纯度有了两个等价的选择,实际用基尼就够。

到这里,建树的三个零件齐了:切分方式(轴对齐)、选特征的标准(增益)、 递归。下一课讲第四个:什么时候该停。