怎么选 λ
它是超参数,得用验证集挑
不是模型学出来的,所以不能靠梯度下降定。
这个直觉在别的超参数上通常管用(学习率常在 0.01 附近)。但 不是。
第 3 课那张表里, 从 0 加到 0.0001,验证误差就从 15.8 掉到 2.9——真正有用的区间在万分之一这个量级。
从 0.1 开始试,你只会看到"全都太差了"。
它和多项式阶数、学习率一样,属于超参数——你在外面试,用验证集判好坏。
做法很朴素:
for lambda in 一串候选值: 在训练集上训练,得到参数 在验证集上算误差 选验证误差最小的那个 lambda数据不多的时候,单次划分的验证误差本身就不稳(第 5 章实测过:同一个模型能报出 1.69 到 9.92)。
那就把"在验证集上算误差"换成 k 折交叉验证:
for lambda in 一串候选值: 用 5 折交叉验证算出这个 lambda 的平均误差 选平均误差最小的那个这也是为什么交叉验证要放在这一章前面讲。
候选值按对数网格取
不要按线性。
合适的 常常在 这个量级。你用 0.1、0.2、0.3 去扫,永远扫不到。
for lam in np.logspace(-4, 1, 20): # 10^-4 到 10^1,20 个点 ...第 3 课那张表里: 从 0 加到 0.0001,验证误差就从 15.835 降到 2.892。
甜点区在 附近。从 0.1 开始扫,你看到的全是"已经调过头"的那一段。
看一眼完整的曲线
同样的数据(6 次多项式,20 训练 / 10 验证),把 从极小扫到 10:

图上有三个地方值得看:
左边那个孤立的橙点:,完全不正则化,验证误差 15.83。
绿色的点:,验证误差 2.26。从 0 到 ,误差掉了 7 倍。
右端: 越大误差越高,到 时已经超过 18。
常见的正则化曲线图都画成漂亮的 U 形。真实数据上它更像一个断崖 + 一段缓坡:
从 0 变成极小值:断崖式下降
之后 继续增大:缓慢爬升
原因是 是个特殊点——它意味着"完全没有约束",模型可以随便乱来。只要有一点点约束,它立刻老实下来。
所以别去找那个完美的 U 形。 找到"明显比 好"的那一段就够了。
落地步骤
步骤 | 做法 |
|---|---|
1 | 取候选集 |
2 | 每个值跑一遍交叉验证,记录平均验证误差 |
3 | 选最小的那个 |
4 | 用选出的 在全部训练数据上重训一次 |
5 | 在测试集上报告最终成绩 |
第 4 步容易被忽略:交叉验证时每个模型只在 折上训练过。选完 之后要用全部训练数据重新训练一遍,那个才是最终拿去用的模型。
三个实操提醒
一、 的量级依赖数据。
换一批数据、换一组特征、换一个损失函数,合适的 都可能差好几个数量级。别记某个具体数字,记"按对数扫"这个动作。
二、特征必须先标准化。
正则化惩罚的是 。两个特征量级差很多的话,同一个 对它们的压制力度完全不同——面积(几十到一百)的权重会被压死,楼层(1–20)的几乎不受影响。
标准化之后,所有特征站在同一起跑线上, 才有可比性。 第 3 章那套缩放,在这里是必需品不是可选项。
三、 不是越小越好,也不是越大越好。
它的作用是挪动偏差-方差那个平衡点。平衡点在哪取决于你的数据量和噪声水平——只能靠验证集找。
本章小结
概念 | 内容 |
|---|---|
正则化的作用 | 惩罚大参数,压制模型的弯曲能力 |
代价函数 | 原损失 |
为什么只罚 | 只平移曲线,不控制形状 |
梯度 | 拟合梯度 , 不变 |
权重衰减 | 更新式里每步先把自己乘个略小于 1 的系数 |
L2 vs L1 | L2 压小,L1 压成 0 |
的量级 | 常在 附近,按对数网格扫 |
怎么选 | 验证集或交叉验证,选验证误差最小的 |
下一课
公式都齐了。下一课是习题——几道手算,加一道判断"该增大还是减小 "的题。