机器学习›第 10 章 决策树›基尼系数
基尼系数
另一个衡量不纯的公式
读法:从这堆样本里随机抽两个,它们不是同一类的概率。
或 :抽两个一定同类,
:抽两个有一半概率不同类,

为什么形状一样
熵和基尼都是“ 越接近 0.5 越大、越接近 0 或 1 越小”的凹函数。
把你的数据代进去算,两者给出的“哪个特征更好”的顺序几乎总是一致。差别只在数值上。
用基尼算一遍同一份数据
根节点:9 去 5 不去。
按天气分:
晴(2 去 / 3 不去):
阴(4 去 / 0 不去):
雨(3 去 / 2 不去):
基尼增益 = 。
特征 | 熵增益 | 基尼增益 |
|---|---|---|
天气 | 0.247 | 0.116 |
湿度 | 0.152 | 0.092 |
风 | 0.048 | 0.031 |
温度 | 0.029 | 0.019 |
排序完全一样。数值不同,但该选谁、该先问谁,结论一致。
那为什么实际用基尼
因为快。熵要算 ,基尼只有平方和。在大数据集上,建树要算成千上万次增益,这个差别很实在。
sklearn 的 DecisionTreeClassifier 默认 criterion="gini",就是这个原因。
熵还有用吗
有。当你想解释“这棵树为什么这么分”时,熵的单位(bit)有实际含义:减少了 0.247 bit 的不确定性。
基尼没有这样的单位,它只是个纯度指标。
这一课解决了什么
不纯度有了两个等价的选择,实际用基尼就够。
到这里,建树的三个零件齐了:切分方式(轴对齐)、选特征的标准(增益)、 递归。下一课讲第四个:什么时候该停。