正则化逻辑回归

加法完全一样

逻辑回归的损失是交叉熵,加正则化的方式和上一课一个字都不用改:

J(w,b)=−1m∑i=1m[yilog⁡fi+(1−yi)log⁡(1−fi)]+λ2m∑j=1nwj2J(w,b) = -\frac{1}{m}\sum_{i=1}^{m}\left[y_i\log f_i + (1-y_i)\log(1-f_i)\right] + \frac{\lambda}{2m}\sum_{j=1}^{n} w_j^2

还是那个套路:原损失 + 参数的平方和,bb 不参与。

梯度也一样

∂J∂wj=1m∑i=1m(fi−yi)xij+λmwj\frac{\partial J}{\partial w_j} = \frac{1}{m}\sum_{i=1}^{m}\left(f_i-y_i\right)x_{ij} + \frac{\lambda}{m}w_j
∂J∂b=1m∑i=1m(fi−yi)\frac{\partial J}{\partial b} = \frac{1}{m}\sum_{i=1}^{m}\left(f_i-y_i\right)

上一课写的是:

∂J∂wj=1m∑(f−y)xij+λmwj\frac{\partial J}{\partial w_j} = \frac{1}{m}\sum\left(f-y\right)x_{ij} + \frac{\lambda}{m}w_j

这一课写的还是这个。

唯一的区别藏在 ff 里:线性回归的 f=wx+bf = wx + b,逻辑回归的 f=g(wx+b)f = g(wx+b)。公式的外形、正则化项、bb 的处理,全部相同。

实现上怎么加

如果你已经写了逻辑回归的梯度函数,加正则化只需要改两行:

def compute_gradient(X, y, w, b, lam): m, n = X.shape f = sigmoid(X @ w + b) err = f - y dj_dw = (X.T @ err) / m + (lam / m) * w # ← 这里加了后半截 dj_db = np.mean(err) # ← b 不动 return dj_dw, dj_db

注意 dj_dw 那行:拟合的梯度算完之后,再加上 (lam/m)*w。

为什么可以这样随便加

因为它只依赖一件事:损失函数里多了 λ2m∑wj2\frac{\lambda}{2m}\sum w_j^2 这一项。

这一项对 wjw_j 求导永远等于 λmwj\frac{\lambda}{m}w_j,不管前面的损失是什么。

所以:

模型

原损失

加正则化后

线性回归

平方误差

+λ2m∑wj2+ \frac{\lambda}{2m}\sum w_j^2

逻辑回归

交叉熵

+λ2m∑wj2+ \frac{\lambda}{2m}\sum w_j^2

神经网络

任意

+λ2m∑wj2+ \frac{\lambda}{2m}\sum w_j^2

正则化是加在损失外面的一层,和具体用什么损失无关。

一个实际效果

逻辑回归在多特征的时候同样会过拟合。

比如判断肿瘤时用了 20 个特征,其中大部分是噪声——模型会把它们的权重调得很大,恰好穿过训练集的每个点。

加正则化之后,那些噪声特征的权重被压到接近 0,模型只依赖真正有用的那几个。

第 6 章说"扔掉没用的特征"能治过拟合。

正则化是它的软版本:不扔掉,但把权重压小。压得足够小的话,效果和扔掉差不多——这也是为什么第 5 课的 L1 能做到"正好压成 0"。

下一课

L2 只是把权重压小。L1 更狠:它会把一些权重压到正好等于 0。

这个差别背后有个很漂亮的几何解释。