为什么一百棵烂树能顶一棵好树

先看一个实验

用一份 500 个样本的数据(两类,呈 XOR 分布,8% 标签噪声),训练一堆很浅的树(深度 3)。

每棵树都只看一份随机抽出来的子集,所以每棵树都长得不一样。

100 棵树各自在测试集上的准确率分布,橙色线是它们投票的结果

看这几个数:

  • 单棵树:平均 0.752,但这批树里最差的只有 0.487,最好的 0.860

  • 100 棵投票:0.847

投票的结果几乎等于最好的那棵

但注意:你事先不知道哪棵是最好的。0.860 那棵是事后从 100 棵里挑出来的,训练时你没法知道。

投票给的是不看答案就能拿到的 0.847——而且波动极小。单棵树的准确率标准差是 0.115,换一份随机子集就可能掉到 0.49。

为什么平均有效

设每棵树的预测误差可以拆成三部分(第六课讲过偏差-方差分解):

误差=偏差2+方差+噪声\text{误差} = \text{偏差}^2 + \text{方差} + \text{噪声}

一棵深树的问题几乎全在方差上:换一份训练数据,树就大变样。

现在把 MM 棵独立同分布的树平均,如果每棵的方差是 σ2\sigma^2:

平均后的方差=σ2M\text{平均后的方差} = \frac{\sigma^2}{M}

100 棵,方差降到 1/100。偏差不变(平均不改变每棵树的系统性倾向)。

“独立同分布”是个奢侈假设

上面的 1/M 只在树之间完全独立时成立。

实际上它们都看同一份数据,学到的会很像。设两棵树之间的相关系数是 ρ\rho,更准确的公式是:

ρσ2+1−ρMσ2\rho\sigma^2 + \frac{1-\rho}{M}\sigma^2

当 M→∞M \to \infty 时,第一项消不掉。树越像,平均的收益越小。

这句话是整章的关键:

想让集成变强,光靠"多"没用,得让每棵树"不一样"。

怎么让树不一样

两个办法,正好对应本章的两条主线:

  1. 让它们看不同的数据 —— 每棵树用一份有放回抽样的子集训练。这叫 Bagging。

  2. 让它们看不同的特征 —— 每次分裂时只从随机挑的一部分特征里选最优。这是随机森林在 Bagging 之上加的。

两个办法都是在人为制造差异,牺牲每棵树的精度,换整体的多样性。

这一课解决了什么

上一章说一棵树不稳。这一课说清楚为什么"多棵平均"能把不稳压下去,以及压到什么程度取决于树之间有多像。

下一课先讲第一个办法:怎么造出互不相同的数据。