习题
题目
第一题 100 棵完全独立的树,每棵方差是 4。平均之后方差是多少?如果树之间的相关系数是 0.5 呢?
第二题 有 1000 个训练样本,做一次 bootstrap 抽样。期望有多少个样本没被抽到?
第三题 为什么随机森林里通常不让 max_depth 限制得很小,而 Boosting 里每棵树通常只有深度 2-3?
第四题 一个特征在随机森林里的重要性是 0.001。能不能说"这个特征和结果无关"?
第五题 Bagging 加树不会过拟合,Boosting 加树会。用偏差-方差的语言解释。
第六题 你已经有一个逻辑回归模型,准确率 0.89。换成 GBDT 之后 0.90。该不该换?
提示
第一题用 。
第二题用 。
第六题没有标准答案,但答案里必须提到"代价"。
答案
第一题
完全独立(ρ = 0):
相关系数 0.5:
差了 50 倍。第二项怎么加树都在缩,但第一项 永远消不掉。
这就是随机森林存在的理由
如果树之间完全独立,Bagging 就够了,不需要随机森林。
正因为它们都看同一份数据、倾向于在根节点选同一个强特征,ρ 才居高不下。随机森林的全部作用就是把 ρ 压下去。
第二题
一个样本在一次抽取中没被选中的概率是 。
1000 次全都没抽中:
所以约 368 个样本没被抽到。
反过来 632 个被抽到至少一次——注意这 632 个里有重复,实际不同样本数就是 632。
第三题
因为两者对单棵树的要求正好相反。
随机森林:靠平均降方差。每棵树越深、越强、越容易过拟合,平均之后反而越好—— 因为每棵树记住的噪声互不相同,一平均就抵消了。限制深度会让每棵树变弱,整体也跟着弱。
Boosting:靠累加降偏差。每棵树都在拟合前面还没修正的部分。如果每棵树都很强, 它会把当前残差(包括噪声)一次性拟合干净,后面就没得学了,而且噪声被牢牢记住。
所以 Boosting 要故意用弱学习器,一步一步慢慢来。
第四题
不能。
至少三个原因:
重要性低不等于无关。如果两个特征高度相关,随机森林会随便挑一个用,另一个的重要性就接近 0—— 但它并不是没用,只是被"顶替"了。
重要性只反映这份数据、这个模型。换个随机种子、换个
max_features,排序会变。它不区分因果和相关。重要性高的特征可能只是碰巧和标签相关。
要判断"是否真的无关",得做实验(控制变量、A/B 测试),不是看模型输出的数字。
第五题
Bagging:每棵树单独训练,各自都有高方差。平均之后方差降到 , 偏差保持不变(平均不改变系统性倾向)。
所以你加树时,方差那一项一直在降,偏差那一项不动。总误差不会因为树太多而上升——它只是停止下降。
Boosting:初始模型偏差很大(弱学习器),每加一棵都在减少偏差。 但方差也在累积——模型越来越复杂,对训练集的拟合越来越细。
树少时偏差降得快,总误差下降;树多到一定程度,方差开始主导,总误差回升。这就是过拟合。
一句话
Bagging 是在方差轴上做减法,减到 0 就停(不会变负)。
Boosting 是在偏差轴上做减法,但同时在方差轴上做加法,两条曲线交叉的地方就是最优点。
第六题
没有标准答案,但要看这几件事:
考虑 | 倾向换 | 倾向不换 |
|---|---|---|
精度提升的实际价值 | 错误代价高(医疗、风控) | 0.01 无感(推荐排序) |
可解释性要求 | — | 要给监管/业务方解释系数 |
维护成本 | 有调参人力 | 没人维护,越简单越好 |
推理延迟 | — | GBDT 比逻辑回归慢得多 |
模型体积 | — | 几百棵树 vs 几个系数 |
我的判断
0.89 → 0.90 是 1 个百分点。如果这是一个日活百万的产品,1 个点可能值得;如果是内部工具,不值得。
而且要先确认这 0.01 是真实的——同一份验证集上测出来的 0.01,很可能只是噪声。 换几个随机种子重跑,如果差距不稳定,就是没差距。
一句话总结
概念 | 内容 |
|---|---|
为什么集成有效 | 平均降方差,但树越像收益越小(ρ 项消不掉) |
Bagging | 有放回抽样造不同训练集,并行训练后投票 |
随机森林 | 再加一层:每次分裂只看随机子集特征,压低 ρ |
OOB | 用每棵树没见过的 37% 估误差,省一份验证集 |
特征重要性 | 能排序,但受相关性和基数影响,不能当因果 |
Boosting | 串行,每棵树拟合前面的残差,降偏差 |
GBDT / XGBoost | Boosting 的工程实现,表格数据上最强 |
怎么选 | 先线性基线 → 随机森林 → 再上 GBDT 调参 |
下一课
最大间隔