正则化线性回归

梯度怎么变

加上正则化项之后,重新求导。

先说结论:原来那部分梯度一个字没变,只是在后面接了一项。

这件事值得停一下。损失函数明明多了一整项,为什么梯度只是"多接一项"?

因为加上去的那一项只含 ww,不含拟合项里的任何东西。求导时互不干扰,各算各的。

具体:

∂J∂wj=1m∑i=1m(f(xi)−yi)xij+λmwj\frac{\partial J}{\partial w_j} = \frac{1}{m}\sum_{i=1}^{m}\left(f(x_i)-y_i\right)x_{ij} + \frac{\lambda}{m}w_j
∂J∂b=1m∑i=1m(f(xi)−yi)\frac{\partial J}{\partial b} = \frac{1}{m}\sum_{i=1}^{m}\left(f(x_i)-y_i\right)

注意 bb 的梯度完全没变——因为它不在正则化项里。

更新式长出一个新样子

把梯度代进更新式:

wj←wj−α[1m∑(f−y)xij+λmwj]w_j \leftarrow w_j - \alpha\left[\frac{1}{m}\sum(f-y)x_{ij} + \frac{\lambda}{m}w_j\right]

把 wjw_j 的项提到一起:

wj←wj(1−αλm)−α1m∑(f−y)xijw_j \leftarrow w_j\left(1 - \alpha\frac{\lambda}{m}\right) - \alpha\frac{1}{m}\sum(f-y)x_{ij}

wj(1−αλm)w_j\left(1 - \alpha\frac{\lambda}{m}\right) —— 每一项更新之前,先把自己乘上一个略小于 1 的系数。

也就是说:每一步都先把 wjw_j 往 0 缩一点点,然后再按普通梯度走一步。

缩多少?αλ/m\alpha\lambda/m。λ\lambda 越大,缩得越狠。

这就是正则化在梯度下降里的真实样子:每步衰减一点。

名字的由来

因为这个"每步先缩一点"的动作,L2 正则化在深度学习里常被叫作 权重衰减(weight decay)。

同样的东西,两个名字:

名字

从哪个角度看

L2 正则化

从损失函数看:加了一项惩罚

权重衰减

从更新式看:每步乘一个衰减因子

是同一件事。

正规方程也要改

第 3 章那个直接求解的公式:

θ=(X⊤X)−1X⊤y\theta = \left(X^{\top}X\right)^{-1}X^{\top}y

加上正则化后变成:

θ=(X⊤X+λR)−1X⊤y\theta = \left(X^{\top}X + \lambda R\right)^{-1}X^{\top}y

其中 RR 是一个对角矩阵,最后一个对角元是 0(对应 bb),其余是 1:

R=[11⋱0]R = \begin{bmatrix} 1 & & & \\ & 1 & & \\ & & \ddots & \\ & & & 0 \end{bmatrix}

如果所有对角元都设成 1,bb 也会被惩罚。所以必须把对应 bb 的那一格改成 0。

这就是"只罚 ww"这句话在矩阵里的样子。

实测:同一批数据,六个 λ

还是第 6 章那批数据(20 个训练样本、10 个验证样本),6 次多项式:

λ\lambda

训练 MSE

验证 MSE

曲线

0

2.346

15.835

开始出现小起伏

0.0001

2.402

2.892

平滑,贴合趋势

0.001

2.428

4.500

略平

0.01

2.493

7.084

明显偏平

0.1

2.528

8.972

快成直线了

1.0

2.840

14.040

已经欠拟合

看训练误差那一列:从 2.346 到 2.840,变化很小——正则化并没有让模型在训练集上变差多少。

看验证误差那一列:从 15.835 到 2.892 再到 14.040,变化了一个数量级。

正则化的收益和代价完全不对等:花掉一点点训练精度,换来大幅的泛化提升。

拓展:为什么加 λR\lambda R 能让矩阵一定可逆

(这一段可以跳过,不影响后面。)

第 3 章提过一句:X⊤XX^{\top}X 可能不可逆,这时候正规方程无解。加了正则化之后,这个问题消失了。

原因是矩阵的特征值。X⊤XX^{\top}X 是半正定的,特征值 μi≥0\mu_i \geq 0。某些特征值可能是 0——那就不可逆。

加上 λR\lambda R 之后,特征值变成 μi+λ\mu_i + \lambda:

  • 原来的 0 变成了 λ>0\lambda > 0

  • 所有特征值都严格大于 0

一个特征值全为正的对称矩阵一定可逆。

所以正则化顺手解决了不可逆的问题。这在特征数比样本数还多的时候(n>mn > m,此时 X⊤XX^{\top}X 必然不满秩)特别有用。

下一课

逻辑回归怎么加?答案是:一模一样。

有意思的地方在于,加完之后梯度的形式几乎没变——这件事值得单独看一眼。