机器学习›第 11 章 集成学习›Bagging:造出不同的数据
Bagging:造出不同的数据
有放回抽样
手里有 个训练样本。现在要造一份"不一样但同样大小"的数据:
从原来的 个里随机抽一个,记下来
把它放回去
重复 次
关键是第二步"放回去"。不放回,抽 n 次就是原样;放回,同一个样本可能被抽中好几次,也可能一次都没被抽中。
抽到多少
一个样本在 次抽取中一次都没被抽中的概率是:
反过来,被抽到至少一次的样本约占 。

这不是缺陷,是特性:每份子集天然就少了约 37% 的样本,而且每份缺的那 37% 还不一样。 树之间的差异就是这么来的。
怎么合并
训练出 棵树之后:
分类:投票,票数最多的那一类
回归:取平均
这一步叫聚合(aggregating)。Bagging 这个词就是 Bootstrap aggregating 的缩写。
Bagging 不是决策树专用的
任何"高方差"的模型都能套 Bagging。比如很深的神经网络、kNN(k 小的时候)。
但高偏差的模型套了没用——平均一堆都不准的东西,还是不准。所以线性回归套 Bagging 基本没收益。
代价
Bagging 有两个实实在在的代价:
训练时间 ×M。100 棵树就是 100 倍。好在树之间完全独立,可以并行,实际墙钟时间没那么夸张。
模型变大。100 棵树要存 100 份。
但它带来一个额外的好处:可以顺便估出泛化误差,不用单独的验证集。这个后面第四课讲。
那随机森林呢
Bagging 有个漏洞。假设数据里有一个特别强的特征,强到不管哪份子集,根节点都选它。
那么所有树的第一刀都一样,往下几层大概也差不多。这样的树虽然训练数据不同,长出来却很像—— 回到上一课那个公式: 大,平均的收益就小。
这一课解决了什么
Bagging 用"有放回抽样"造出互不相同的训练集,把方差压下去。
但如果有一个特征强到每棵树都先选它,树还是太像。下一课在分裂这一层再制造一次随机。