学习曲线与诊断

把横轴换掉

前面那张图横轴是模型复杂度。现在换一个:横轴是训练样本数。

左边:高偏差

  • 训练误差随样本增加而上升(数据多了,完美拟合越来越难)

  • 验证误差随样本增加而下降

  • 两条线很快贴在一起,然后一起停在很高的位置

关键在最后一句:它们贴在了一起,说明模型对训练集和新数据一样差——不是过拟合,是根本没学会。

两条线已经贴住了,再加数据只会让它们继续贴着不动。

这种情况必须换更复杂的模型或者加特征。

右边:高方差

  • 训练误差一直很低

  • 验证误差一直很高

  • 两条线之间始终有一道大缝

模型对训练集特调得很好,换一批数据就废。

缝还在,说明模型还没被数据"约束住"。给它更多数据,缝会缩小。

这是唯一一种"加数据能治"的情况。

实用价值

你看到的

诊断

加数据有用吗

该做什么

两线贴住,都很高

高偏差(欠拟合)

❌ 没用

换更复杂的模型、加特征

中间有大缝

高方差(过拟合)

✅ 有用

加数据、正则化、降复杂度

两线都低且贴住

健康

—

可以停了

在动手调任何东西之前,先画一遍学习曲线。

不画就调参,等于蒙着眼睛修车。 你会花一整天试各种招,其中一半是针对另一种病的——不但没用,还会让情况更糟(比如给欠拟合的模型加正则化)。

总的诊断表

症状

病因

手段

训练误差高,验证误差也高,两线贴住

高偏差 / 欠拟合

加特征、加高次项、换更复杂的模型、减小正则化

训练误差低,验证误差高,中间有大缝

高方差 / 过拟合

加数据、加正则化、减特征、降复杂度

训练误差低,验证误差也低

健康

收工

很容易搞反。

正则化的作用是压制模型复杂度。如果模型本来就太简单(欠拟合),再加正则化只会更糟。

所以"正则化"不是万能药,它只治过拟合。第 6 章专门讲这件事。

本章小结

概念

一句话

训练误差

只说明"记住了",不说明"学会了"

验证集

用来选模型;测试集只能用一次

过拟合

训练误差低、验证误差高、缝大

欠拟合

训练误差本身就高

偏差

平均偏离多远;高 = 欠拟合

方差

换批数据波动多大;高 = 过拟合

噪声

不可约误差,是任何模型的下限

学习曲线

一眼看出是哪一种病

下一课

下一章解决过拟合:正则化。

思路很直接——既然问题出在"参数太大导致曲线乱扭",那就在损失函数里加一项,专门惩罚大参数。