过拟合

曲线穿过每一个点,然后呢

第 3 章那张图,现在要正经用一次:

最右边那个 9 次多项式,训练 MSE 是 135——四个里最低的。

但看它的形状:在 x<40x < 40 的地方猛地扎下去,在 x>180x > 180 的地方又翘起来。那些地方根本没有数据点。

模型在那里不是"预测",是"编"。

模型把训练数据里的噪声也当成了规律学进去。

结果就是:在训练集上表现极好,在新数据上一塌糊涂。

为什么会发生

三个条件,凑齐了就容易过拟合:

原因

表现

参数太多

9 次多项式有 10 个参数,去拟合 22 个点

数据太少

同样 10 个参数,只有 5 个点,那必然完美穿过

噪声被当成信号

房价里的随机波动,被模型当成"这个面积段就是贵"

前两条同时成立会怎样,本章习题里有一个极端的例子。

新数据往哪加,结果完全相反

同样是"多给几个点",加在不同的位置,效果是反的。

一、加离群点,过拟合会变严重。

在数据稀疏的角落扔几个远离主群的样本,高阶多项式会为了穿过它们把整条曲线拽过去。结果是:离群点附近拟合得很好,中间的正常区域反而被带歪。

一个点能毁掉一整片区域的预测,这是高阶模型的典型脾气。

二、加数据密集区的点,过拟合会缓解。

在本来就有点的地方再补几个,模型就没法"乱扭"了——每个方向都有样本约束着,它想弯也弯不出花样来。

不是数据多了模型变聪明,是约束多了,曲线没地方乱扭。

反过来说:如果你加的全是离群点,那只会更糟。

怎么认出来

看两个数的差距:

训练误差

验证误差

训练-验证的缝

2.346

15.835

巨大 ← 典型过拟合(6 次多项式,本章习题会算到)

2.612

8.951

较大

2.397

2.254

小 ← 刚好

判断标准很朴素:训练误差很低,但验证误差明显高出好几倍,就是过拟合。

反过来说,如果两个都很低且接近,那模型是健康的。

怎么缓解(先给个清单)

手段

思路

在哪一章

加数据

增加约束,挤掉乱扭的空间

第 9 章

降复杂度

少几个参数

现在就可用

正则化

惩罚大的参数值

第 6 章

特征选择

扔掉没用的特征

第 9 章

正则化是最通用的一条,第 6 章专门讲。

下一课:另一头

过拟合的反面不是"刚好",是欠拟合——连训练集都没学好。

先把它认清楚,才能知道该往哪个方向调。