Boosting:串行纠错

和 Bagging 的根本区别

Bagging

Boosting

训练方式

并行,互不相干

串行,后一棵依赖前一棵

每棵树的训练数据

随机子集

全部数据,但权重不同

每棵树的目标

独立把数据分对

修正前面所有树合起来的错误

单棵树的强度

较强(深树)

很弱(通常深度 2-3)

主要降低

方差

偏差

最后一行的区别最关键:Bagging 用一堆强但抖的模型平均,治的是"不稳";Boosting 用一堆弱但稳的模型累加,治的是"不够准"。

核心思路

一句话:每一棵新树,专门去学前面的树还做错了什么。

第一棵树做完,有些样本分对了、有些分错了。第二棵树就重点看那些分错的。 第三棵再看前两棵合起来还错的。

最后把所有这些弱树加权相加,得到一个强模型。

同一份数据上 Bagging 和 Boosting 的测试误差随树数量变化

实测:

  • Bagging:第 1 棵误差 0.387,很快降到 0.153 左右,之后再也不动了

  • Boosting:前期降得慢,但一路往下压,120 棵时到 0.147

为什么 Bagging 会很快见底

因为平均只降方差,不降偏差。100 棵树之后,方差已经压得差不多了,再加树就没有新信息了。

Boosting 每加一棵都在减少偏差,所以只要没到过拟合,加树就还有收益。

两个具体算法

AdaBoost

最早的一个,思路最直白:

  1. 所有样本权重相同,训练第一棵树

  2. 分错的样本权重调高,分对的调低

  3. 用新权重训练第二棵树

  4. 重复。最后投票时,准确率高的树话语权大

它改的是样本权重——让后面的树更关心前面的树做错的地方。

梯度提升(Gradient Boosting)

换个角度看同一件事:不是调权重,而是让新树直接去拟合残差。

残差 = 真实值 − 当前模型的预测。新树学的是"还差多少",然后把它的输出加进去。

为什么叫“梯度”

对平方损失来说,残差正好是损失函数的负梯度:−∂L/∂y^=y−y^-\partial L/\partial \hat{y} = y - \hat{y}。

所以"拟合残差"等价于"沿梯度方向走一步"——和你第 2 章学的梯度下降是同一件事, 只不过这里的"一步"是一整棵树,不是一个小步长。

Boosting 容易过拟合

Bagging 加树不会过拟合(平均只降方差)。Boosting 加树会——它一直在拟合残差,加到一定程度就开始拟合噪声。

于是多了两个必须调的参数:

  • n_estimators:多少棵树

  • learning_rate:每棵树的话语权。调小就要更多树,但泛化更好

这一课解决了什么

Boosting 用串行纠错降低偏差,代价是容易过拟合、必须调轮数。

下一课讲它在工程上被做到极致的样子——那才是表格数据上真正最强的模型。