习题

题目

第一题 一个模型有 2 个特征。当前 w1=3w_1 = 3、w2=−2w_2 = -2、b=1b = 1。样本数 m=4m = 4,正则化强度 λ=0.5\lambda = 0.5。

已知不含正则化时算出来的梯度是:

∂J0∂w1=0.4,∂J0∂w2=−0.6,∂J0∂b=0.2\frac{\partial J_0}{\partial w_1} = 0.4, \qquad \frac{\partial J_0}{\partial w_2} = -0.6, \qquad \frac{\partial J_0}{\partial b} = 0.2

求加上 L2 正则化之后的三个梯度。

第二题 接上题,取学习率 α=0.1\alpha = 0.1。

用两种写法各算一次新的 w1w_1,验证它们结果相同:

  • 写法 A:w1←w1−α∂J∂w1w_1 \leftarrow w_1 - \alpha\dfrac{\partial J}{\partial w_1}

  • 写法 B:w1←w1(1−αλm)−α∂J0∂w1w_1 \leftarrow w_1\left(1 - \alpha\dfrac{\lambda}{m}\right) - \alpha\dfrac{\partial J_0}{\partial w_1}

第三题 第 3 课那张实测表里,λ=0\lambda = 0 时验证误差 15.835,λ=0.0001\lambda = 0.0001 时降到 2.892。降了多少倍?同一行里训练误差变化了多少?

这说明正则化的收益和代价是什么关系?

第四题 判断下面每种情况该增大还是减小 λ\lambda:

  1. 训练误差 0.05,验证误差 4.8

  2. 训练误差 3.2,验证误差 3.4

  3. 训练误差 0.6,验证误差 0.62,而且你觉得还能更好

  4. 你有一万条数据、只有 3 个特征

第五题 下面这些操作,哪些必须放在正则化之前做?为什么?

  1. 特征标准化

  2. 划分训练/验证集

  3. 多项式特征展开

第一题注意 bb 的梯度不该变。

第二题两种写法算完应该一模一样——如果不一致,检查一下 αλ/m\alpha\lambda/m 有没有算错。


答案

第一题

正则化项对 wjw_j 的导数是 λmwj\dfrac{\lambda}{m}w_j:

λmw1=0.54×3=0.375,λmw2=0.54×(−2)=−0.25\frac{\lambda}{m}w_1 = \frac{0.5}{4}\times 3 = 0.375, \qquad \frac{\lambda}{m}w_2 = \frac{0.5}{4}\times(-2) = -0.25

所以:

∂J∂w1=0.4+0.375=0.775\frac{\partial J}{\partial w_1} = 0.4 + 0.375 = \mathbf{0.775}
∂J∂w2=−0.6+(−0.25)=−0.85\frac{\partial J}{\partial w_2} = -0.6 + (-0.25) = \mathbf{-0.85}
∂J∂b=0.2(不变)\frac{\partial J}{\partial b} = \mathbf{0.2} \quad\text{(不变)}

注意 w2w_2 那一项:它本来是负数,加上一个负数之后绝对值变大了——正则化把它往 0 推,也就是往正方向推,所以梯度更负了……等一下,这里要小心。

∂J/∂w2=−0.85\partial J/\partial w_2 = -0.85,更新时 w2←w2−α(−0.85)=w2+0.085w_2 \leftarrow w_2 - \alpha(-0.85) = w_2 + 0.085,确实是往 0 的方向(从 −2 往 −1.9 走)。对上了。

第二题

写法 A:先算总梯度(只算 w1w_1)

∂J∂w1=0.4+0.375=0.775\frac{\partial J}{\partial w_1} = 0.4 + 0.375 = 0.775
w1←3−0.1×0.775=3−0.0775=2.9225w_1 \leftarrow 3 - 0.1 \times 0.775 = 3 - 0.0775 = \mathbf{2.9225}

写法 B:先算衰减因子

1−αλm=1−0.1×0.54=1−0.0125=0.98751 - \alpha\frac{\lambda}{m} = 1 - 0.1 \times \frac{0.5}{4} = 1 - 0.0125 = 0.9875
w1←3×0.9875−0.1×0.4=2.9625−0.04=2.9225w_1 \leftarrow 3 \times 0.9875 - 0.1 \times 0.4 = 2.9625 - 0.04 = \mathbf{2.9225}

两者相同。

写法 B 把那一步"先缩一点再走"的含义显式写出来了:3×0.9875=2.96253 \times 0.9875 = 2.9625 是衰减,减 0.040.04 是正常的梯度步。

第三题

15.8352.892≈5.48 倍\frac{15.835}{2.892} \approx \mathbf{5.48 \text{ 倍}}

训练误差那边:从 2.346 到 2.402,只涨了 0.056(约 2.4%)。

花掉 2.4% 的训练精度,换回 5.5 倍的泛化提升。

这就是正则化值得做的原因。反过来说:如果你发现自己为了正则化损失了大量训练精度,那 λ\lambda 肯定调太大了。

第四题

情况

判断

理由

1. 训练 0.05 / 验证 4.8

增大

典型的过拟合:训练极低、验证高出近百倍

2. 训练 3.2 / 验证 3.4

可能减小

两个都高且接近,是欠拟合的样子。如果已经在用正则化,先减小它

3. 训练 0.6 / 验证 0.62,还想更好

不好说

两个都低且接近,模型是健康的。想再提升可能要加特征或换模型,不是调 λ\lambda

4. 一万条数据、3 个特征

减小或不加

数据相对特征极多,过拟合风险很低。这种配置通常不需要强正则化

第 2 条最容易搞反:欠拟合的时候加正则化只会更糟。正则化是治过拟合的药,不是万能补品。

第五题

操作

必须在前?

为什么

特征标准化

✅ 必须在

正则化惩罚 wj2w_j^2。特征量级不同的话,同一个 λ\lambda 对它们的压制力度完全不同——面积(几十到一百)的权重会被压死,楼层(1–20)的几乎不受影响。标准化之后 wj2w_j^2 才有可比性

划分训练/验证集

✅ 必须在

否则 λ\lambda 是在测试数据上选出来的,就是第 5 章讲的数据泄漏

多项式特征展开

⬜ 顺序无所谓,但要先于标准化

先展开再标准化(因为标准化要针对展开后的 x2,x3x^2, x^3 各列做)。展开本身和正则化不冲突,展开后的高次项正是正则化要压的对象

正确的顺序是:

划分数据 → 多项式展开 → 在训练集上算均值和标准差 → 标准化(训练集 fit,验证集 transform) → 训练 + 正则化

记住第 5 章那条铁律:凡是"从数据算参数"的操作,只能在训练集上做。

本章小结

结论

内容

正则化加什么

原损失 +λ2m∑wj2+ \dfrac{\lambda}{2m}\sum w_j^2

梯度变化

只给 wjw_j 那一项加上 λmwj\dfrac{\lambda}{m}w_j,bb 不变

两种写法

"加在梯度里"和"先衰减再走"是等价的

收益代价

花一点点训练精度,换大幅泛化提升

用错方向

欠拟合时加正则化会更糟

前置条件

必须先标准化、先划分数据

下一章

到这里,二分类的整套就讲完了:模型、损失、梯度、训练、防过拟合。

但现实里的分类很少只有两类——手写数字有 10 类,图片识别有上千类。下一章讲多分类。