习题
数据
一条并不复杂的曲线,加了噪声:
import numpy as np rng = np.random.default_rng(2025) def f(x): return 40 + 6*np.sqrt(x) xs = np.sort(rng.uniform(1, 40, 30)) idx = rng.permutation(30) tr, va = np.sort(idx[:20]), np.sort(idx[20:]) Xtr, Xva = np.round(xs[tr], 1), np.round(xs[va], 1) ytr = np.round(f(xs[tr]) + rng.normal(0, 1.6, 20), 1) yva = np.round(f(xs[va]) + rng.normal(0, 1.6, 10), 1)二十个训练样本,十个验证样本。
题目
第一题 分别用 1 到 6 次多项式拟合训练集,算出每种阶数的训练 MSE 和验证 MSE,列成一张表。
第二题 哪个阶数最好?依据是什么?
第三题 6 次多项式的训练误差是所有里最低的,但验证误差突然跳上去了。解释这个现象。
第四题 画出"阶数 vs 两个误差"的曲线图,标出欠拟合区和过拟合区。它和本章那张复杂度曲线长得一样吗?
第五题 只用前 5 个训练样本去拟合 6 次多项式。训练误差和验证误差分别是多少?说明了什么?
拟合前一定要先标准化特征。 在 时是 ,不缩放的话正规方程会因为数值条件太差解出垃圾。
F = np.column_stack([X**k for k in range(1, d+1)]) mu, sd = F.mean(0), F.std(0) Fs = (F - mu) / sd coef, *_ = np.linalg.lstsq(np.c_[Fs, np.ones(len(X))], y, rcond=None)答案
第一题
阶数 | 训练 MSE | 验证 MSE |
|---|---|---|
1 | 2.612 | 8.951 |
2 | 2.506 | 6.231 |
3 | 2.506 | 6.266 |
4 | 2.397 | 2.254 |
5 | 2.397 | 2.297 |
6 | 2.346 | 15.835 |
看两列走势:训练误差一路下降,验证误差先降后跳。
第二题
4 次,验证 MSE 是 2.254,六个里最低。
注意 1 次和 4 次的对比:
训练误差:2.612 → 2.397,只降了 0.2
验证误差:8.951 → 2.254,降了 6.7
从直线换成 4 次曲线,在训练集上的改善微乎其微,但在新数据上好了四倍。
这就是"训练误差不能用来选模型"最直接的证据。
第三题
6 次多项式有 7 个参数去拟合 20 个点,自由度足够大。
多出来的那部分自由度没有真实规律可拟合(真函数是 ,本来就不是多项式),就去拟合了训练集里那点随机噪声。
训练误差因此从 2.397 降到 2.346——降了 0.05,可以忽略。
但噪声换一批就变了,所以在验证集上,学到的噪声全部变成错误。验证误差从 2.297 跳到 15.835,将近七倍。
训练集上多拿的那 0.05,代价是验证集上的 13.5。
第四题
应该长得一样:蓝线单调下降,橙线 U 形。
最低点在 4 次附近,左边(1~2 次)是欠拟合区,右边(6 次)是过拟合区。
如果你画出来右边没有明显上升,可能有两个原因:
数据量相对阶数还够大,过拟合不明显
验证集太小(只有 10 个点),波动大
第二条在实际工作中很常见——验证集太小,选模型的结果就不可靠。
第五题
训练 MSE = 0.0000,验证 MSE ≈ 。
训练误差是 0,因为 6 次多项式有 7 个参数去拟合 5 个点——参数比数据还多,必然能完美穿过每一个点,甚至还有多余的自由度。
验证误差是天文数字,两个原因叠加:
模型拟合的全是噪声
6 次多项式在训练数据范围之外会指数级爆炸(验证集里有比训练集最小值还小的 )
这个例子把过拟合推到极端:训练完美,验证灾难。
它也是"为什么必须留验证集"的最好说明——只看训练误差的话,这个模型是满分的。
一句话总结
现象 | 结论 |
|---|---|
训练误差单调下降 | 正常,不能用来选模型 |
验证误差 U 形 | 用它来选模型 |
训练 0、验证爆炸 | 参数比数据多,必然过拟合 |
验证集太小 | 选出来的模型不可靠 |
下一章
下一章讲正则化——治过拟合最通用的那味药。