机器学习 › 第 7 章 正则化 › 正则化逻辑回归
正则化逻辑回归 加法完全一样 逻辑回归的损失是交叉熵,加正则化的方式和上一课一个字都不用改 :
J ( w , b ) = − 1 m ∑ i = 1 m [ y i log f i + ( 1 − y i ) log ( 1 − f i ) ] + λ 2 m ∑ j = 1 n w j 2 J(w,b) = -\frac{1}{m}\sum_{i=1}^{m}\left[y_i\log f_i + (1-y_i)\log(1-f_i)\right] + \frac{\lambda}{2m}\sum_{j=1}^{n} w_j^2 J ( w , b ) = − m 1 i = 1 ∑ m [ y i log f i + ( 1 − y i ) log ( 1 − f i ) ] + 2 m λ j = 1 ∑ n w j 2 还是那个套路:原损失 + 参数的平方和,b b b 不参与。
梯度也一样 ∂ J ∂ w j = 1 m ∑ i = 1 m ( f i − y i ) x i j + λ m w j \frac{\partial J}{\partial w_j} = \frac{1}{m}\sum_{i=1}^{m}\left(f_i-y_i\right)x_{ij} + \frac{\lambda}{m}w_j ∂ w j ∂ J = m 1 i = 1 ∑ m ( f i − y i ) x ij + m λ w j ∂ J ∂ b = 1 m ∑ i = 1 m ( f i − y i ) \frac{\partial J}{\partial b} = \frac{1}{m}\sum_{i=1}^{m}\left(f_i-y_i\right) ∂ b ∂ J = m 1 i = 1 ∑ m ( f i − y i ) 上一课写的是:
∂ J ∂ w j = 1 m ∑ ( f − y ) x i j + λ m w j \frac{\partial J}{\partial w_j} = \frac{1}{m}\sum\left(f-y\right)x_{ij} + \frac{\lambda}{m}w_j ∂ w j ∂ J = m 1 ∑ ( f − y ) x ij + m λ w j 这一课写的还是这个。
唯一的区别藏在 f f f 里 :线性回归的 f = w x + b f = wx + b f = w x + b ,逻辑回归的 f = g ( w x + b ) f = g(wx+b) f = g ( w x + b ) 。公式的外形、正则化项、b b b 的处理,全部相同。
实现上怎么加 如果你已经写了逻辑回归的梯度函数,加正则化只需要改两行:
def compute_gradient(X, y, w, b, lam): m, n = X.shape f = sigmoid(X @ w + b) err = f - y dj_dw = (X.T @ err) / m + (lam / m) * w # ← 这里加了后半截 dj_db = np.mean(err) # ← b 不动 return dj_dw, dj_db注意 dj_dw 那行:拟合的梯度算完之后,再加上 (lam/m)*w。
为什么可以这样随便加 因为它只依赖一件事:损失函数里多了 λ 2 m ∑ w j 2 \frac{\lambda}{2m}\sum w_j^2 2 m λ ∑ w j 2 这一项 。
这一项对 w j w_j w j 求导永远等于 λ m w j \frac{\lambda}{m}w_j m λ w j ,不管前面的损失是什么。
所以:
模型
原损失
加正则化后
线性回归
平方误差
+ λ 2 m ∑ w j 2 + \frac{\lambda}{2m}\sum w_j^2 + 2 m λ ∑ w j 2
逻辑回归
交叉熵
+ λ 2 m ∑ w j 2 + \frac{\lambda}{2m}\sum w_j^2 + 2 m λ ∑ w j 2
神经网络
任意
+ λ 2 m ∑ w j 2 + \frac{\lambda}{2m}\sum w_j^2 + 2 m λ ∑ w j 2
正则化是加在损失外面的一层,和具体用什么损失无关。
一个实际效果 逻辑回归在多特征的时候同样会过拟合。
比如判断肿瘤时用了 20 个特征,其中大部分是噪声——模型会把它们的权重调得很大,恰好穿过训练集的每个点。
加正则化之后,那些噪声特征的权重被压到接近 0,模型只依赖真正有用的那几个。
第 6 章说"扔掉没用的特征"能治过拟合。
正则化是它的软版本 :不扔掉,但把权重压小。压得足够小的话,效果和扔掉差不多——这也是为什么第 5 课的 L1 能做到"正好压成 0"。
下一课 L2 只是把权重压小。L1 更狠:它会把一些权重压到正好等于 0 。
这个差别背后有个很漂亮的几何解释。