树为什么会过拟合

一直分下去会怎样

按照第四课的算法,只要还有特征可问、只要这组还不纯,就继续分。

结果:一直分到每个叶子只剩一个样本。这时每个叶子的熵都是 0,训练误差 0。

这不是好事。

这是最直观的过拟合

线性模型的过拟合不那么好想象——你说不清“权重太大了”具体意味着什么。

树的过拟合一眼能看出来:它给每一个训练样本都划了一块专属的小格子。来一个新样本,落在哪个格子纯属运气。

纵轴是错误率。深度 4 之后训练误差继续下降,验证误差一点没降

看这张图:

  • 深度 1:训练误差 0.350,验证误差 0.522,明显欠拟合

  • 深度 4:训练误差 0.075,验证误差 0.348

  • 深度 7 以后:训练误差 0.000,验证误差 0.348 一动不动

深度 7 之后的树,多长出来的那些分支对预测新样本毫无帮助,只是在记住训练集里的噪声。

两种剪枝

预剪枝:提前叫停

在建树过程中就设限制:

  • max_depth:最多几层

  • min_samples_split:一个节点至少几个样本才允许继续分

  • min_samples_leaf:一个叶子至少几个样本

后剪枝:先长满再砍

先让树完全长开,然后从下往上检查:把某个子树换成叶子,验证误差会不会变好?会就砍掉。

该用哪个

预剪枝简单、快,绝大多数情况够用。它的问题是“短视”:有可能现在分得不好,但再往下分两步就能分干净——预剪枝看不到这一步,直接叫停了。

后剪枝更准,但要多跑一遍验证集,实现复杂。实践中预剪枝的参数是必调的,后剪枝很少自己写。

和正则化是一回事

第七课讲的正则化,是给损失函数加一个惩罚项来压制模型复杂度。

这里的 max_depth、min_samples_leaf 做的是同一件事:限制模型的表达能力。 只不过一个通过改损失函数间接实现,一个直接加硬约束。

这类参数统称超参数——它们不是训练出来的,是你事先定好的。

怎么定这些数

和第七课选 λ\lambda 完全一样的办法:在每个候选值上训练,看验证集误差,选最好的。

上那张图里,验证误差最低出现在深度 2 到 4 之间。再深就是浪费。

这一课解决了什么

树有三个可调的限制,加上交叉验证就能定下来。

但分类树只能输出类别。如果要预测一个连续的数,比如房价,树还能用吗?

下一课

回归树