机器学习›第 10 章 决策树›熵:怎么衡量混乱程度
熵:怎么衡量混乱程度
先问一个更基本的问题
假设你手里有一堆样本,要猜下一个是“是”还是“否”。
什么时候好猜?
如果是 10 个“是”、0 个“否”,闭眼猜“是”,必中
如果是 5 个“是”、5 个“否”,猜哪个都一样,等于抛硬币
这两种情况的好坏程度,需要一个数字来衡量。这个数字叫熵。
定义
设正类占比为 :
先看几个点:
或 :,完全不混乱
:,最混乱

为什么是 log₂
用 时单位叫 bit(比特)。 的意思是: 平均需要 1 个二元问题的答案,才能确定结果。
换成自然对数就是 nat,只是单位不同,结论完全一样。
手算一个
14 条打球记录:9 条“去”,5 条“不去”。
,代入:
0.940 bit。这个数字就是“当前这堆数据有多难猜”的度量。
用它衡量一次分裂
现在按“天气”把 14 条分成三组:
天气 | 条数 | 去 | 不去 | 熵 |
|---|---|---|---|---|
晴 | 5 | 2 | 3 | 0.971 |
阴 | 4 | 4 | 0 | 0 |
雨 | 5 | 3 | 2 | 0.971 |
“阴”这一组全是去,熵为 0,完全纯了。另外两组反而更乱(0.971 > 0.940)。
所以要看加权平均:按每组的样本比例,把三个熵合起来。
分裂前的 0.940 变成了分裂后的 0.693。降了 0.247。
这个差值就是“信息增益”
它回答的是:问了这个问题之后,我对答案的不确定性减少了多少。
下一课把这件事正式化,然后拿四个特征比一比,看该先问哪个。