欠拟合
另一头
同一个图,看最左边那个:

它没有被噪声带跑——恰恰相反,它什么都没学到。
数据明显是弯的,它硬要用直线去凑,结果两头都偏。训练 MSE 是 1079,四个里最高。
模型太简单,连训练集的基本规律都没抓住。
表现:训练误差本身就很高,验证误差也高,两个差不多。
为什么两个误差差不多
这一点值得想清楚。
过拟合时,训练误差低得离谱,验证误差高——因为模型只对训练集"特调"。
欠拟合时,模型根本没能力区分训练集和新数据。它对所有数据一视同仁地拟合不好,所以两个误差自然就差不多了。
看训练误差。
训练误差就已经很高 → 欠拟合
训练误差很低,验证误差高 → 过拟合
两个都低 → 正常
训练误差是判断的起点,不是验证误差。很多人一上来就看验证误差,然后分不清是哪一头。
两者的对照
欠拟合 | 过拟合 | |
|---|---|---|
训练误差 | 高 | 低 |
验证误差 | 高 | 很高 |
两者差距 | 小 | 大 |
模型复杂度 | 太低 | 太高 |
曲线形状 | 太平、太直 | 太弯、乱翘 |
该做什么 | 加复杂度、加特征 | 降复杂度、加数据、正则化 |
一张图看全

这张图是本章最重要的一张,值得盯着看一会儿:
蓝色(训练误差)一路下降。模型越复杂,越能贴合训练数据,这没什么好意外的。
橙色(验证误差)先降后升。它才是真正该关心的。
左边橙色高 = 模型太简单,欠拟合
右边橙色高 = 模型太复杂,过拟合
中间那个最低点 = 刚好
训练误差永远会随复杂度下降,所以它不能用来选模型。
能用来选模型的只有验证误差。而验证误差的形状是 U 形——这意味着"越复杂越好"是错的,"越简单越好"也是错的,存在一个最优点。
为什么验证误差会回升
因为模型开始学噪声了。
复杂度低的时候,模型连真实规律都表达不了;复杂度适中时,它刚好能表达规律;再往上涨,多出来的自由度没有真实规律可拟合,就去拟合噪声。
噪声在每个数据集里都不一样,所以在训练集上拟合到的噪声,到验证集上全部变成错误。
怎么缓解
手段 | 适用 |
|---|---|
加高次项 / 加特征 | 欠拟合 |
换更复杂的模型(比如从线性换成树) | 欠拟合 |
减少正则化强度 | 欠拟合(如果已经在用正则化) |
注意:加数据对欠拟合几乎没用。模型能力不够,给再多数据也学不会——这一点下一课的学习曲线会讲清楚。
下一课:把它量化
"太简单"和"太复杂"还是感觉层面的说法。
下一课把它们变成两个可以量的东西:偏差和方差。