Bagging:造出不同的数据

有放回抽样

手里有 nn 个训练样本。现在要造一份"不一样但同样大小"的数据:

  1. 从原来的 nn 个里随机抽一个,记下来

  2. 把它放回去

  3. 重复 nn 次

关键是第二步"放回去"。不放回,抽 n 次就是原样;放回,同一个样本可能被抽中好几次,也可能一次都没被抽中。

抽到多少

一个样本在 nn 次抽取中一次都没被抽中的概率是:

(1−1n)n≈1e≈0.368\left(1 - \frac{1}{n}\right)^n \approx \frac{1}{e} \approx 0.368

反过来,被抽到至少一次的样本约占 63.2%63.2\%。

每份 Bagging 子集里,大约 63% 的原始样本会出现至少一次

这不是缺陷,是特性:每份子集天然就少了约 37% 的样本,而且每份缺的那 37% 还不一样。 树之间的差异就是这么来的。

怎么合并

训练出 MM 棵树之后:

  • 分类:投票,票数最多的那一类

  • 回归:取平均

这一步叫聚合(aggregating)。Bagging 这个词就是 Bootstrap aggregating 的缩写。

Bagging 不是决策树专用的

任何"高方差"的模型都能套 Bagging。比如很深的神经网络、kNN(k 小的时候)。

但高偏差的模型套了没用——平均一堆都不准的东西,还是不准。所以线性回归套 Bagging 基本没收益。

代价

Bagging 有两个实实在在的代价:

  • 训练时间 ×M。100 棵树就是 100 倍。好在树之间完全独立,可以并行,实际墙钟时间没那么夸张。

  • 模型变大。100 棵树要存 100 份。

但它带来一个额外的好处:可以顺便估出泛化误差,不用单独的验证集。这个后面第四课讲。

那随机森林呢

Bagging 有个漏洞。假设数据里有一个特别强的特征,强到不管哪份子集,根节点都选它。

那么所有树的第一刀都一样,往下几层大概也差不多。这样的树虽然训练数据不同,长出来却很像—— 回到上一课那个公式:ρ\rho 大,平均的收益就小。

这一课解决了什么

Bagging 用"有放回抽样"造出互不相同的训练集,把方差压下去。

但如果有一个特征强到每棵树都先选它,树还是太像。下一课在分裂这一层再制造一次随机。