Boosting:串行纠错
和 Bagging 的根本区别
Bagging | Boosting | |
|---|---|---|
训练方式 | 并行,互不相干 | 串行,后一棵依赖前一棵 |
每棵树的训练数据 | 随机子集 | 全部数据,但权重不同 |
每棵树的目标 | 独立把数据分对 | 修正前面所有树合起来的错误 |
单棵树的强度 | 较强(深树) | 很弱(通常深度 2-3) |
主要降低 | 方差 | 偏差 |
最后一行的区别最关键:Bagging 用一堆强但抖的模型平均,治的是"不稳";Boosting 用一堆弱但稳的模型累加,治的是"不够准"。
核心思路
一句话:每一棵新树,专门去学前面的树还做错了什么。
第一棵树做完,有些样本分对了、有些分错了。第二棵树就重点看那些分错的。 第三棵再看前两棵合起来还错的。
最后把所有这些弱树加权相加,得到一个强模型。

实测:
Bagging:第 1 棵误差 0.387,很快降到 0.153 左右,之后再也不动了
Boosting:前期降得慢,但一路往下压,120 棵时到 0.147
为什么 Bagging 会很快见底
因为平均只降方差,不降偏差。100 棵树之后,方差已经压得差不多了,再加树就没有新信息了。
Boosting 每加一棵都在减少偏差,所以只要没到过拟合,加树就还有收益。
两个具体算法
AdaBoost
最早的一个,思路最直白:
所有样本权重相同,训练第一棵树
分错的样本权重调高,分对的调低
用新权重训练第二棵树
重复。最后投票时,准确率高的树话语权大
它改的是样本权重——让后面的树更关心前面的树做错的地方。
梯度提升(Gradient Boosting)
换个角度看同一件事:不是调权重,而是让新树直接去拟合残差。
残差 = 真实值 − 当前模型的预测。新树学的是"还差多少",然后把它的输出加进去。
为什么叫“梯度”
对平方损失来说,残差正好是损失函数的负梯度:。
所以"拟合残差"等价于"沿梯度方向走一步"——和你第 2 章学的梯度下降是同一件事, 只不过这里的"一步"是一整棵树,不是一个小步长。
Boosting 容易过拟合
Bagging 加树不会过拟合(平均只降方差)。Boosting 加树会——它一直在拟合残差,加到一定程度就开始拟合噪声。
于是多了两个必须调的参数:
n_estimators:多少棵树learning_rate:每棵树的话语权。调小就要更多树,但泛化更好
这一课解决了什么
Boosting 用串行纠错降低偏差,代价是容易过拟合、必须调轮数。
下一课讲它在工程上被做到极致的样子——那才是表格数据上真正最强的模型。