正则化线性回归
梯度怎么变
加上正则化项之后,重新求导。
先说结论:原来那部分梯度一个字没变,只是在后面接了一项。
这件事值得停一下。损失函数明明多了一整项,为什么梯度只是"多接一项"?
因为加上去的那一项只含 ,不含拟合项里的任何东西。求导时互不干扰,各算各的。
具体:
注意 的梯度完全没变——因为它不在正则化项里。
更新式长出一个新样子
把梯度代进更新式:
把 的项提到一起:
—— 每一项更新之前,先把自己乘上一个略小于 1 的系数。
也就是说:每一步都先把 往 0 缩一点点,然后再按普通梯度走一步。
缩多少?。 越大,缩得越狠。
这就是正则化在梯度下降里的真实样子:每步衰减一点。
名字的由来
因为这个"每步先缩一点"的动作,L2 正则化在深度学习里常被叫作 权重衰减(weight decay)。
同样的东西,两个名字:
名字 | 从哪个角度看 |
|---|---|
L2 正则化 | 从损失函数看:加了一项惩罚 |
权重衰减 | 从更新式看:每步乘一个衰减因子 |
是同一件事。
正规方程也要改
第 3 章那个直接求解的公式:
加上正则化后变成:
其中 是一个对角矩阵,最后一个对角元是 0(对应 ),其余是 1:
如果所有对角元都设成 1, 也会被惩罚。所以必须把对应 的那一格改成 0。
这就是"只罚 "这句话在矩阵里的样子。
实测:同一批数据,六个 λ
还是第 6 章那批数据(20 个训练样本、10 个验证样本),6 次多项式:
训练 MSE | 验证 MSE | 曲线 | |
|---|---|---|---|
0 | 2.346 | 15.835 | 开始出现小起伏 |
0.0001 | 2.402 | 2.892 | 平滑,贴合趋势 |
0.001 | 2.428 | 4.500 | 略平 |
0.01 | 2.493 | 7.084 | 明显偏平 |
0.1 | 2.528 | 8.972 | 快成直线了 |
1.0 | 2.840 | 14.040 | 已经欠拟合 |
看训练误差那一列:从 2.346 到 2.840,变化很小——正则化并没有让模型在训练集上变差多少。
看验证误差那一列:从 15.835 到 2.892 再到 14.040,变化了一个数量级。
正则化的收益和代价完全不对等:花掉一点点训练精度,换来大幅的泛化提升。
拓展:为什么加 能让矩阵一定可逆
(这一段可以跳过,不影响后面。)
第 3 章提过一句: 可能不可逆,这时候正规方程无解。加了正则化之后,这个问题消失了。
原因是矩阵的特征值。 是半正定的,特征值 。某些特征值可能是 0——那就不可逆。
加上 之后,特征值变成 :
原来的 0 变成了
所有特征值都严格大于 0
一个特征值全为正的对称矩阵一定可逆。
所以正则化顺手解决了不可逆的问题。这在特征数比样本数还多的时候(,此时 必然不满秩)特别有用。
下一课
逻辑回归怎么加?答案是:一模一样。
有意思的地方在于,加完之后梯度的形式几乎没变——这件事值得单独看一眼。