过拟合
曲线穿过每一个点,然后呢
第 3 章那张图,现在要正经用一次:

最右边那个 9 次多项式,训练 MSE 是 135——四个里最低的。
但看它的形状:在 的地方猛地扎下去,在 的地方又翘起来。那些地方根本没有数据点。
模型在那里不是"预测",是"编"。
模型把训练数据里的噪声也当成了规律学进去。
结果就是:在训练集上表现极好,在新数据上一塌糊涂。
为什么会发生
三个条件,凑齐了就容易过拟合:
原因 | 表现 |
|---|---|
参数太多 | 9 次多项式有 10 个参数,去拟合 22 个点 |
数据太少 | 同样 10 个参数,只有 5 个点,那必然完美穿过 |
噪声被当成信号 | 房价里的随机波动,被模型当成"这个面积段就是贵" |
前两条同时成立会怎样,本章习题里有一个极端的例子。
新数据往哪加,结果完全相反
同样是"多给几个点",加在不同的位置,效果是反的。
一、加离群点,过拟合会变严重。
在数据稀疏的角落扔几个远离主群的样本,高阶多项式会为了穿过它们把整条曲线拽过去。结果是:离群点附近拟合得很好,中间的正常区域反而被带歪。
一个点能毁掉一整片区域的预测,这是高阶模型的典型脾气。
二、加数据密集区的点,过拟合会缓解。
在本来就有点的地方再补几个,模型就没法"乱扭"了——每个方向都有样本约束着,它想弯也弯不出花样来。
不是数据多了模型变聪明,是约束多了,曲线没地方乱扭。
反过来说:如果你加的全是离群点,那只会更糟。
怎么认出来
看两个数的差距:
训练误差 | 验证误差 | 训练-验证的缝 |
|---|---|---|
2.346 | 15.835 | 巨大 ← 典型过拟合(6 次多项式,本章习题会算到) |
2.612 | 8.951 | 较大 |
2.397 | 2.254 | 小 ← 刚好 |
判断标准很朴素:训练误差很低,但验证误差明显高出好几倍,就是过拟合。
反过来说,如果两个都很低且接近,那模型是健康的。
怎么缓解(先给个清单)
手段 | 思路 | 在哪一章 |
|---|---|---|
加数据 | 增加约束,挤掉乱扭的空间 | 第 9 章 |
降复杂度 | 少几个参数 | 现在就可用 |
正则化 | 惩罚大的参数值 | 第 6 章 |
特征选择 | 扔掉没用的特征 | 第 9 章 |
正则化是最通用的一条,第 6 章专门讲。
下一课:另一头
过拟合的反面不是"刚好",是欠拟合——连训练集都没学好。
先把它认清楚,才能知道该往哪个方向调。