树为什么会过拟合
一直分下去会怎样
按照第四课的算法,只要还有特征可问、只要这组还不纯,就继续分。
结果:一直分到每个叶子只剩一个样本。这时每个叶子的熵都是 0,训练误差 0。
这不是好事。
这是最直观的过拟合
线性模型的过拟合不那么好想象——你说不清“权重太大了”具体意味着什么。
树的过拟合一眼能看出来:它给每一个训练样本都划了一块专属的小格子。来一个新样本,落在哪个格子纯属运气。

看这张图:
深度 1:训练误差 0.350,验证误差 0.522,明显欠拟合
深度 4:训练误差 0.075,验证误差 0.348
深度 7 以后:训练误差 0.000,验证误差 0.348 一动不动
深度 7 之后的树,多长出来的那些分支对预测新样本毫无帮助,只是在记住训练集里的噪声。
两种剪枝
预剪枝:提前叫停
在建树过程中就设限制:
max_depth:最多几层min_samples_split:一个节点至少几个样本才允许继续分min_samples_leaf:一个叶子至少几个样本
后剪枝:先长满再砍
先让树完全长开,然后从下往上检查:把某个子树换成叶子,验证误差会不会变好?会就砍掉。
该用哪个
预剪枝简单、快,绝大多数情况够用。它的问题是“短视”:有可能现在分得不好,但再往下分两步就能分干净——预剪枝看不到这一步,直接叫停了。
后剪枝更准,但要多跑一遍验证集,实现复杂。实践中预剪枝的参数是必调的,后剪枝很少自己写。
和正则化是一回事
第七课讲的正则化,是给损失函数加一个惩罚项来压制模型复杂度。
这里的 max_depth、min_samples_leaf 做的是同一件事:限制模型的表达能力。 只不过一个通过改损失函数间接实现,一个直接加硬约束。
这类参数统称超参数——它们不是训练出来的,是你事先定好的。
怎么定这些数
和第七课选 完全一样的办法:在每个候选值上训练,看验证集误差,选最好的。
上那张图里,验证误差最低出现在深度 2 到 4 之间。再深就是浪费。
这一课解决了什么
树有三个可调的限制,加上交叉验证就能定下来。
但分类树只能输出类别。如果要预测一个连续的数,比如房价,树还能用吗?
下一课
回归树