欠拟合

另一头

同一个图,看最左边那个:

它没有被噪声带跑——恰恰相反,它什么都没学到。

数据明显是弯的,它硬要用直线去凑,结果两头都偏。训练 MSE 是 1079,四个里最高。

模型太简单,连训练集的基本规律都没抓住。

表现:训练误差本身就很高,验证误差也高,两个差不多。

为什么两个误差差不多

这一点值得想清楚。

过拟合时,训练误差低得离谱,验证误差高——因为模型只对训练集"特调"。

欠拟合时,模型根本没能力区分训练集和新数据。它对所有数据一视同仁地拟合不好,所以两个误差自然就差不多了。

看训练误差。

  • 训练误差就已经很高 → 欠拟合

  • 训练误差很低,验证误差高 → 过拟合

  • 两个都低 → 正常

训练误差是判断的起点,不是验证误差。很多人一上来就看验证误差,然后分不清是哪一头。

两者的对照

欠拟合

过拟合

训练误差

高

低

验证误差

高

很高

两者差距

小

大

模型复杂度

太低

太高

曲线形状

太平、太直

太弯、乱翘

该做什么

加复杂度、加特征

降复杂度、加数据、正则化

一张图看全

这张图是本章最重要的一张,值得盯着看一会儿:

  • 蓝色(训练误差)一路下降。模型越复杂,越能贴合训练数据,这没什么好意外的。

  • 橙色(验证误差)先降后升。它才是真正该关心的。

  • 左边橙色高 = 模型太简单,欠拟合

  • 右边橙色高 = 模型太复杂,过拟合

  • 中间那个最低点 = 刚好

训练误差永远会随复杂度下降,所以它不能用来选模型。

能用来选模型的只有验证误差。而验证误差的形状是 U 形——这意味着"越复杂越好"是错的,"越简单越好"也是错的,存在一个最优点。

为什么验证误差会回升

因为模型开始学噪声了。

复杂度低的时候,模型连真实规律都表达不了;复杂度适中时,它刚好能表达规律;再往上涨,多出来的自由度没有真实规律可拟合,就去拟合噪声。

噪声在每个数据集里都不一样,所以在训练集上拟合到的噪声,到验证集上全部变成错误。

怎么缓解

手段

适用

加高次项 / 加特征

欠拟合

换更复杂的模型(比如从线性换成树)

欠拟合

减少正则化强度

欠拟合(如果已经在用正则化)

注意:加数据对欠拟合几乎没用。模型能力不够,给再多数据也学不会——这一点下一课的学习曲线会讲清楚。

下一课:把它量化

"太简单"和"太复杂"还是感觉层面的说法。

下一课把它们变成两个可以量的东西:偏差和方差。