习题

题目

第一题 100 棵完全独立的树,每棵方差是 4。平均之后方差是多少?如果树之间的相关系数是 0.5 呢?

第二题 有 1000 个训练样本,做一次 bootstrap 抽样。期望有多少个样本没被抽到?

第三题 为什么随机森林里通常不让 max_depth 限制得很小,而 Boosting 里每棵树通常只有深度 2-3?

第四题 一个特征在随机森林里的重要性是 0.001。能不能说"这个特征和结果无关"?

第五题 Bagging 加树不会过拟合,Boosting 加树会。用偏差-方差的语言解释。

第六题 你已经有一个逻辑回归模型,准确率 0.89。换成 GBDT 之后 0.90。该不该换?

提示

第一题用 ρσ2+1−ρMσ2\rho\sigma^2 + \frac{1-\rho}{M}\sigma^2。

第二题用 1/e1/e。

第六题没有标准答案,但答案里必须提到"代价"。


答案

第一题

完全独立(ρ = 0):

4100=0.04\frac{4}{100} = 0.04

相关系数 0.5:

0.5×4+0.5100×4=2+0.02=2.020.5 \times 4 + \frac{0.5}{100} \times 4 = 2 + 0.02 = 2.02

差了 50 倍。第二项怎么加树都在缩,但第一项 ρσ2=2\rho\sigma^2 = 2 永远消不掉。

这就是随机森林存在的理由

如果树之间完全独立,Bagging 就够了,不需要随机森林。

正因为它们都看同一份数据、倾向于在根节点选同一个强特征,ρ 才居高不下。随机森林的全部作用就是把 ρ 压下去。

第二题

一个样本在一次抽取中没被选中的概率是 1−1/10001 - 1/1000。

1000 次全都没抽中:

(1−11000)1000≈1e≈0.368\left(1 - \frac{1}{1000}\right)^{1000} \approx \frac{1}{e} \approx 0.368

所以约 368 个样本没被抽到。

反过来 632 个被抽到至少一次——注意这 632 个里有重复,实际不同样本数就是 632。

第三题

因为两者对单棵树的要求正好相反。

随机森林:靠平均降方差。每棵树越深、越强、越容易过拟合,平均之后反而越好—— 因为每棵树记住的噪声互不相同,一平均就抵消了。限制深度会让每棵树变弱,整体也跟着弱。

Boosting:靠累加降偏差。每棵树都在拟合前面还没修正的部分。如果每棵树都很强, 它会把当前残差(包括噪声)一次性拟合干净,后面就没得学了,而且噪声被牢牢记住。

所以 Boosting 要故意用弱学习器,一步一步慢慢来。

第四题

不能。

至少三个原因:

  1. 重要性低不等于无关。如果两个特征高度相关,随机森林会随便挑一个用,另一个的重要性就接近 0—— 但它并不是没用,只是被"顶替"了。

  2. 重要性只反映这份数据、这个模型。换个随机种子、换个 max_features,排序会变。

  3. 它不区分因果和相关。重要性高的特征可能只是碰巧和标签相关。

要判断"是否真的无关",得做实验(控制变量、A/B 测试),不是看模型输出的数字。

第五题

Bagging:每棵树单独训练,各自都有高方差。平均之后方差降到 ρσ2+(1−ρ)σ2/M\rho\sigma^2 + (1-\rho)\sigma^2/M, 偏差保持不变(平均不改变系统性倾向)。

所以你加树时,方差那一项一直在降,偏差那一项不动。总误差不会因为树太多而上升——它只是停止下降。

Boosting:初始模型偏差很大(弱学习器),每加一棵都在减少偏差。 但方差也在累积——模型越来越复杂,对训练集的拟合越来越细。

树少时偏差降得快,总误差下降;树多到一定程度,方差开始主导,总误差回升。这就是过拟合。

一句话

Bagging 是在方差轴上做减法,减到 0 就停(不会变负)。

Boosting 是在偏差轴上做减法,但同时在方差轴上做加法,两条曲线交叉的地方就是最优点。

第六题

没有标准答案,但要看这几件事:

考虑

倾向换

倾向不换

精度提升的实际价值

错误代价高(医疗、风控)

0.01 无感(推荐排序)

可解释性要求

—

要给监管/业务方解释系数

维护成本

有调参人力

没人维护,越简单越好

推理延迟

—

GBDT 比逻辑回归慢得多

模型体积

—

几百棵树 vs 几个系数

我的判断

0.89 → 0.90 是 1 个百分点。如果这是一个日活百万的产品,1 个点可能值得;如果是内部工具,不值得。

而且要先确认这 0.01 是真实的——同一份验证集上测出来的 0.01,很可能只是噪声。 换几个随机种子重跑,如果差距不稳定,就是没差距。

一句话总结

概念

内容

为什么集成有效

平均降方差,但树越像收益越小(ρ 项消不掉)

Bagging

有放回抽样造不同训练集,并行训练后投票

随机森林

再加一层:每次分裂只看随机子集特征,压低 ρ

OOB

用每棵树没见过的 37% 估误差,省一份验证集

特征重要性

能排序,但受相关性和基数影响,不能当因果

Boosting

串行,每棵树拟合前面的残差,降偏差

GBDT / XGBoost

Boosting 的工程实现,表格数据上最强

怎么选

先线性基线 → 随机森林 → 再上 GBDT 调参

下一课

最大间隔