怎么选 λ

它是超参数,得用验证集挑

λ\lambda 不是模型学出来的,所以不能靠梯度下降定。

这个直觉在别的超参数上通常管用(学习率常在 0.01 附近)。但 λ\lambda 不是。

第 3 课那张表里,λ\lambda 从 0 加到 0.0001,验证误差就从 15.8 掉到 2.9——真正有用的区间在万分之一这个量级。

从 0.1 开始试,你只会看到"全都太差了"。

它和多项式阶数、学习率一样,属于超参数——你在外面试,用验证集判好坏。

做法很朴素:

for lambda in 一串候选值: 在训练集上训练,得到参数 在验证集上算误差 选验证误差最小的那个 lambda

数据不多的时候,单次划分的验证误差本身就不稳(第 5 章实测过:同一个模型能报出 1.69 到 9.92)。

那就把"在验证集上算误差"换成 k 折交叉验证:

for lambda in 一串候选值: 用 5 折交叉验证算出这个 lambda 的平均误差 选平均误差最小的那个

这也是为什么交叉验证要放在这一章前面讲。

候选值按对数网格取

不要按线性。

合适的 λ\lambda 常常在 10−410^{-4} 这个量级。你用 0.1、0.2、0.3 去扫,永远扫不到。

for lam in np.logspace(-4, 1, 20): # 10^-4 到 10^1,20 个点 ...

第 3 课那张表里:λ\lambda 从 0 加到 0.0001,验证误差就从 15.835 降到 2.892。

甜点区在 10−410^{-4} 附近。从 0.1 开始扫,你看到的全是"已经调过头"的那一段。

看一眼完整的曲线

同样的数据(6 次多项式,20 训练 / 10 验证),把 λ\lambda 从极小扫到 10:

图上有三个地方值得看:

左边那个孤立的橙点:lambda=0lambda = 0,完全不正则化,验证误差 15.83。

绿色的点:lambda=10−6lambda = 10^{-6},验证误差 2.26。从 0 到 10−610^{-6},误差掉了 7 倍。

右端:λ\lambda 越大误差越高,到 lambda=10lambda = 10 时已经超过 18。

常见的正则化曲线图都画成漂亮的 U 形。真实数据上它更像一个断崖 + 一段缓坡:

  • λ\lambda 从 0 变成极小值:断崖式下降

  • 之后 λ\lambda 继续增大:缓慢爬升

原因是 lambda=0lambda = 0 是个特殊点——它意味着"完全没有约束",模型可以随便乱来。只要有一点点约束,它立刻老实下来。

所以别去找那个完美的 U 形。 找到"明显比 lambda=0lambda = 0 好"的那一段就够了。

落地步骤

步骤

做法

1

取候选集 np.logspace(-4, 1, 20)

2

每个值跑一遍交叉验证,记录平均验证误差

3

选最小的那个

4

用选出的 λ\lambda 在全部训练数据上重训一次

5

在测试集上报告最终成绩

第 4 步容易被忽略:交叉验证时每个模型只在 k−1k-1 折上训练过。选完 λ\lambda 之后要用全部训练数据重新训练一遍,那个才是最终拿去用的模型。

三个实操提醒

一、λ\lambda 的量级依赖数据。

换一批数据、换一组特征、换一个损失函数,合适的 λ\lambda 都可能差好几个数量级。别记某个具体数字,记"按对数扫"这个动作。

二、特征必须先标准化。

正则化惩罚的是 wj2w_j^2。两个特征量级差很多的话,同一个 λ\lambda 对它们的压制力度完全不同——面积(几十到一百)的权重会被压死,楼层(1–20)的几乎不受影响。

标准化之后,所有特征站在同一起跑线上,wj2w_j^2 才有可比性。 第 3 章那套缩放,在这里是必需品不是可选项。

三、λ\lambda 不是越小越好,也不是越大越好。

它的作用是挪动偏差-方差那个平衡点。平衡点在哪取决于你的数据量和噪声水平——只能靠验证集找。

本章小结

概念

内容

正则化的作用

惩罚大参数,压制模型的弯曲能力

代价函数

原损失 +λ2m∑wj2+ \dfrac{\lambda}{2m}\sum w_j^2

为什么只罚 ww

bb 只平移曲线,不控制形状

梯度

拟合梯度 +λmwj+ \dfrac{\lambda}{m}w_j,bb 不变

权重衰减

更新式里每步先把自己乘个略小于 1 的系数

L2 vs L1

L2 压小,L1 压成 0

λ\lambda 的量级

常在 10−410^{-4} 附近,按对数网格扫

怎么选

验证集或交叉验证,选验证误差最小的

下一课

公式都齐了。下一课是习题——几道手算,加一道判断"该增大还是减小 λ\lambda"的题。