学习曲线与诊断
把横轴换掉
前面那张图横轴是模型复杂度。现在换一个:横轴是训练样本数。

左边:高偏差
训练误差随样本增加而上升(数据多了,完美拟合越来越难)
验证误差随样本增加而下降
两条线很快贴在一起,然后一起停在很高的位置
关键在最后一句:它们贴在了一起,说明模型对训练集和新数据一样差——不是过拟合,是根本没学会。
两条线已经贴住了,再加数据只会让它们继续贴着不动。
这种情况必须换更复杂的模型或者加特征。
右边:高方差
训练误差一直很低
验证误差一直很高
两条线之间始终有一道大缝
模型对训练集特调得很好,换一批数据就废。
缝还在,说明模型还没被数据"约束住"。给它更多数据,缝会缩小。
这是唯一一种"加数据能治"的情况。
实用价值
你看到的 | 诊断 | 加数据有用吗 | 该做什么 |
|---|---|---|---|
两线贴住,都很高 | 高偏差(欠拟合) | ❌ 没用 | 换更复杂的模型、加特征 |
中间有大缝 | 高方差(过拟合) | ✅ 有用 | 加数据、正则化、降复杂度 |
两线都低且贴住 | 健康 | — | 可以停了 |
在动手调任何东西之前,先画一遍学习曲线。
不画就调参,等于蒙着眼睛修车。 你会花一整天试各种招,其中一半是针对另一种病的——不但没用,还会让情况更糟(比如给欠拟合的模型加正则化)。
总的诊断表
症状 | 病因 | 手段 |
|---|---|---|
训练误差高,验证误差也高,两线贴住 | 高偏差 / 欠拟合 | 加特征、加高次项、换更复杂的模型、减小正则化 |
训练误差低,验证误差高,中间有大缝 | 高方差 / 过拟合 | 加数据、加正则化、减特征、降复杂度 |
训练误差低,验证误差也低 | 健康 | 收工 |
很容易搞反。
正则化的作用是压制模型复杂度。如果模型本来就太简单(欠拟合),再加正则化只会更糟。
所以"正则化"不是万能药,它只治过拟合。第 6 章专门讲这件事。
本章小结
概念 | 一句话 |
|---|---|
训练误差 | 只说明"记住了",不说明"学会了" |
验证集 | 用来选模型;测试集只能用一次 |
过拟合 | 训练误差低、验证误差高、缝大 |
欠拟合 | 训练误差本身就高 |
偏差 | 平均偏离多远;高 = 欠拟合 |
方差 | 换批数据波动多大;高 = 过拟合 |
噪声 | 不可约误差,是任何模型的下限 |
学习曲线 | 一眼看出是哪一种病 |
下一课
下一章解决过拟合:正则化。
思路很直接——既然问题出在"参数太大导致曲线乱扭",那就在损失函数里加一项,专门惩罚大参数。