题目
第一题 一个模型有 2 个特征。当前 w1=3、w2=−2、b=1。样本数 m=4,正则化强度 λ=0.5。
已知不含正则化时算出来的梯度是:
∂w1∂J0=0.4,∂w2∂J0=−0.6,∂b∂J0=0.2 求加上 L2 正则化之后的三个梯度。
第二题 接上题,取学习率 α=0.1。
用两种写法各算一次新的 w1,验证它们结果相同:
写法 A:w1←w1−α∂w1∂J
写法 B:w1←w1(1−αmλ)−α∂w1∂J0
第三题 第 3 课那张实测表里,λ=0 时验证误差 15.835,λ=0.0001 时降到 2.892。降了多少倍?同一行里训练误差变化了多少?
这说明正则化的收益和代价是什么关系?
第四题 判断下面每种情况该增大还是减小 λ:
训练误差 0.05,验证误差 4.8
训练误差 3.2,验证误差 3.4
训练误差 0.6,验证误差 0.62,而且你觉得还能更好
你有一万条数据、只有 3 个特征
第五题 下面这些操作,哪些必须放在正则化之前做?为什么?
特征标准化
划分训练/验证集
多项式特征展开
第一题注意 b 的梯度不该变。
第二题两种写法算完应该一模一样——如果不一致,检查一下 αλ/m 有没有算错。
答案
第一题
正则化项对 wj 的导数是 mλwj:
mλw1=40.5×3=0.375,mλw2=40.5×(−2)=−0.25 所以:
∂w1∂J=0.4+0.375=0.775 ∂w2∂J=−0.6+(−0.25)=−0.85 ∂b∂J=0.2(不变) 注意 w2 那一项:它本来是负数,加上一个负数之后绝对值变大了——正则化把它往 0 推,也就是往正方向推,所以梯度更负了……等一下,这里要小心。
∂J/∂w2=−0.85,更新时 w2←w2−α(−0.85)=w2+0.085,确实是往 0 的方向(从 −2 往 −1.9 走)。对上了。
第二题
写法 A:先算总梯度(只算 w1)
∂w1∂J=0.4+0.375=0.775 w1←3−0.1×0.775=3−0.0775=2.9225 写法 B:先算衰减因子
1−αmλ=1−0.1×40.5=1−0.0125=0.9875 w1←3×0.9875−0.1×0.4=2.9625−0.04=2.9225 两者相同。
写法 B 把那一步"先缩一点再走"的含义显式写出来了:3×0.9875=2.9625 是衰减,减 0.04 是正常的梯度步。
第三题
2.89215.835≈5.48 倍 训练误差那边:从 2.346 到 2.402,只涨了 0.056(约 2.4%)。
花掉 2.4% 的训练精度,换回 5.5 倍的泛化提升。
这就是正则化值得做的原因。反过来说:如果你发现自己为了正则化损失了大量训练精度,那 λ 肯定调太大了。
第四题
情况 | 判断 | 理由 |
|---|
1. 训练 0.05 / 验证 4.8 | 增大 | 典型的过拟合:训练极低、验证高出近百倍 |
2. 训练 3.2 / 验证 3.4 | 可能减小 | 两个都高且接近,是欠拟合的样子。如果已经在用正则化,先减小它 |
3. 训练 0.6 / 验证 0.62,还想更好 | 不好说 | 两个都低且接近,模型是健康的。想再提升可能要加特征或换模型,不是调 λ |
4. 一万条数据、3 个特征 | 减小或不加 | 数据相对特征极多,过拟合风险很低。这种配置通常不需要强正则化 |
第 2 条最容易搞反:欠拟合的时候加正则化只会更糟。正则化是治过拟合的药,不是万能补品。
第五题
操作 | 必须在前? | 为什么 |
|---|
特征标准化 | ✅ 必须在 | 正则化惩罚 wj2。特征量级不同的话,同一个 λ 对它们的压制力度完全不同——面积(几十到一百)的权重会被压死,楼层(1–20)的几乎不受影响。标准化之后 wj2 才有可比性 |
划分训练/验证集 | ✅ 必须在 | 否则 λ 是在测试数据上选出来的,就是第 5 章讲的数据泄漏 |
多项式特征展开 | ⬜ 顺序无所谓,但要先于标准化 | 先展开再标准化(因为标准化要针对展开后的 x2,x3 各列做)。展开本身和正则化不冲突,展开后的高次项正是正则化要压的对象 |
正确的顺序是:
划分数据 → 多项式展开 → 在训练集上算均值和标准差 → 标准化(训练集 fit,验证集 transform) → 训练 + 正则化
记住第 5 章那条铁律:凡是"从数据算参数"的操作,只能在训练集上做。
本章小结
结论 | 内容 |
|---|
正则化加什么 | 原损失 +2mλ∑wj2 |
梯度变化 | 只给 wj 那一项加上 mλwj,b 不变 |
两种写法 | "加在梯度里"和"先衰减再走"是等价的 |
收益代价 | 花一点点训练精度,换大幅泛化提升 |
用错方向 | 欠拟合时加正则化会更糟 |
前置条件 | 必须先标准化、先划分数据 |
下一章
到这里,二分类的整套就讲完了:模型、损失、梯度、训练、防过拟合。
但现实里的分类很少只有两类——手写数字有 10 类,图片识别有上千类。下一章讲多分类。