习题

数据

一条并不复杂的曲线,加了噪声:

import numpy as np rng = np.random.default_rng(2025) def f(x): return 40 + 6*np.sqrt(x) xs = np.sort(rng.uniform(1, 40, 30)) idx = rng.permutation(30) tr, va = np.sort(idx[:20]), np.sort(idx[20:]) Xtr, Xva = np.round(xs[tr], 1), np.round(xs[va], 1) ytr = np.round(f(xs[tr]) + rng.normal(0, 1.6, 20), 1) yva = np.round(f(xs[va]) + rng.normal(0, 1.6, 10), 1)

二十个训练样本,十个验证样本。

题目

第一题 分别用 1 到 6 次多项式拟合训练集,算出每种阶数的训练 MSE 和验证 MSE,列成一张表。

第二题 哪个阶数最好?依据是什么?

第三题 6 次多项式的训练误差是所有里最低的,但验证误差突然跳上去了。解释这个现象。

第四题 画出"阶数 vs 两个误差"的曲线图,标出欠拟合区和过拟合区。它和本章那张复杂度曲线长得一样吗?

第五题 只用前 5 个训练样本去拟合 6 次多项式。训练误差和验证误差分别是多少?说明了什么?

拟合前一定要先标准化特征。x6x^6 在 x=40x=40 时是 4×1094\times10^9,不缩放的话正规方程会因为数值条件太差解出垃圾。

F = np.column_stack([X**k for k in range(1, d+1)]) mu, sd = F.mean(0), F.std(0) Fs = (F - mu) / sd coef, *_ = np.linalg.lstsq(np.c_[Fs, np.ones(len(X))], y, rcond=None)

答案

第一题

阶数

训练 MSE

验证 MSE

1

2.612

8.951

2

2.506

6.231

3

2.506

6.266

4

2.397

2.254

5

2.397

2.297

6

2.346

15.835

看两列走势:训练误差一路下降,验证误差先降后跳。

第二题

4 次,验证 MSE 是 2.254,六个里最低。

注意 1 次和 4 次的对比:

  • 训练误差:2.612 → 2.397,只降了 0.2

  • 验证误差:8.951 → 2.254,降了 6.7

从直线换成 4 次曲线,在训练集上的改善微乎其微,但在新数据上好了四倍。

这就是"训练误差不能用来选模型"最直接的证据。

第三题

6 次多项式有 7 个参数去拟合 20 个点,自由度足够大。

多出来的那部分自由度没有真实规律可拟合(真函数是 40+6x40+6\sqrt{x},本来就不是多项式),就去拟合了训练集里那点随机噪声。

训练误差因此从 2.397 降到 2.346——降了 0.05,可以忽略。

但噪声换一批就变了,所以在验证集上,学到的噪声全部变成错误。验证误差从 2.297 跳到 15.835,将近七倍。

训练集上多拿的那 0.05,代价是验证集上的 13.5。

第四题

应该长得一样:蓝线单调下降,橙线 U 形。

最低点在 4 次附近,左边(1~2 次)是欠拟合区,右边(6 次)是过拟合区。

如果你画出来右边没有明显上升,可能有两个原因:

  1. 数据量相对阶数还够大,过拟合不明显

  2. 验证集太小(只有 10 个点),波动大

第二条在实际工作中很常见——验证集太小,选模型的结果就不可靠。

第五题

训练 MSE = 0.0000,验证 MSE ≈ 7.5×10137.5\times10^{13}。

训练误差是 0,因为 6 次多项式有 7 个参数去拟合 5 个点——参数比数据还多,必然能完美穿过每一个点,甚至还有多余的自由度。

验证误差是天文数字,两个原因叠加:

  1. 模型拟合的全是噪声

  2. 6 次多项式在训练数据范围之外会指数级爆炸(验证集里有比训练集最小值还小的 xx)

这个例子把过拟合推到极端:训练完美,验证灾难。

它也是"为什么必须留验证集"的最好说明——只看训练误差的话,这个模型是满分的。

一句话总结

现象

结论

训练误差单调下降

正常,不能用来选模型

验证误差 U 形

用它来选模型

训练 0、验证爆炸

参数比数据多,必然过拟合

验证集太小

选出来的模型不可靠

下一章

下一章讲正则化——治过拟合最通用的那味药。