为什么一百棵烂树能顶一棵好树
先看一个实验
用一份 500 个样本的数据(两类,呈 XOR 分布,8% 标签噪声),训练一堆很浅的树(深度 3)。
每棵树都只看一份随机抽出来的子集,所以每棵树都长得不一样。

看这几个数:
单棵树:平均 0.752,但这批树里最差的只有 0.487,最好的 0.860
100 棵投票:0.847
投票的结果几乎等于最好的那棵
但注意:你事先不知道哪棵是最好的。0.860 那棵是事后从 100 棵里挑出来的,训练时你没法知道。
投票给的是不看答案就能拿到的 0.847——而且波动极小。单棵树的准确率标准差是 0.115,换一份随机子集就可能掉到 0.49。
为什么平均有效
设每棵树的预测误差可以拆成三部分(第六课讲过偏差-方差分解):
一棵深树的问题几乎全在方差上:换一份训练数据,树就大变样。
现在把 棵独立同分布的树平均,如果每棵的方差是 :
100 棵,方差降到 1/100。偏差不变(平均不改变每棵树的系统性倾向)。
“独立同分布”是个奢侈假设
上面的 1/M 只在树之间完全独立时成立。
实际上它们都看同一份数据,学到的会很像。设两棵树之间的相关系数是 ,更准确的公式是:
当 时,第一项消不掉。树越像,平均的收益越小。
这句话是整章的关键:
想让集成变强,光靠"多"没用,得让每棵树"不一样"。
怎么让树不一样
两个办法,正好对应本章的两条主线:
让它们看不同的数据 —— 每棵树用一份有放回抽样的子集训练。这叫 Bagging。
让它们看不同的特征 —— 每次分裂时只从随机挑的一部分特征里选最优。这是随机森林在 Bagging 之上加的。
两个办法都是在人为制造差异,牺牲每棵树的精度,换整体的多样性。
这一课解决了什么
上一章说一棵树不稳。这一课说清楚为什么"多棵平均"能把不稳压下去,以及压到什么程度取决于树之间有多像。
下一课先讲第一个办法:怎么造出互不相同的数据。