熵:怎么衡量混乱程度

先问一个更基本的问题

假设你手里有一堆样本,要猜下一个是“是”还是“否”。

什么时候好猜?

  • 如果是 10 个“是”、0 个“否”,闭眼猜“是”,必中

  • 如果是 5 个“是”、5 个“否”,猜哪个都一样,等于抛硬币

这两种情况的好坏程度,需要一个数字来衡量。这个数字叫熵。

定义

设正类占比为 pp:

H(p)=−plog⁡2p−(1−p)log⁡2(1−p)H(p) = -p\log_2 p - (1-p)\log_2(1-p)

先看几个点:

  • p=0p = 0 或 p=1p = 1:H=0H = 0,完全不混乱

  • p=0.5p = 0.5:H=1H = 1,最混乱

熵在 p = 0.5 处取最大值 1 bit

为什么是 log₂

用 log⁡2\log_2 时单位叫 bit(比特)。H=1H = 1 的意思是: 平均需要 1 个二元问题的答案,才能确定结果。

换成自然对数就是 nat,只是单位不同,结论完全一样。

手算一个

14 条打球记录:9 条“去”,5 条“不去”。

p=9/14=0.643p = 9/14 = 0.643,代入:

H=−0.643log⁡20.643−0.357log⁡20.357=0.940H = -0.643\log_2 0.643 - 0.357\log_2 0.357 = 0.940

0.940 bit。这个数字就是“当前这堆数据有多难猜”的度量。

用它衡量一次分裂

现在按“天气”把 14 条分成三组:

天气

条数

去

不去

熵

晴

5

2

3

0.971

阴

4

4

0

0

雨

5

3

2

0.971

“阴”这一组全是去,熵为 0,完全纯了。另外两组反而更乱(0.971 > 0.940)。

所以要看加权平均:按每组的样本比例,把三个熵合起来。

H天气=514(0.971)+414(0)+514(0.971)=0.693H_{\text{天气}} = \frac{5}{14}(0.971) + \frac{4}{14}(0) + \frac{5}{14}(0.971) = 0.693

分裂前的 0.940 变成了分裂后的 0.693。降了 0.247。

这个差值就是“信息增益”

它回答的是:问了这个问题之后,我对答案的不确定性减少了多少。

下一课把这件事正式化,然后拿四个特征比一比,看该先问哪个。