正则化的代价函数

先想想最直接的办法

既然目标是"把参数压小",最直觉的做法是给它设一个上限:

∑jwj2≤t\sum_j w_j^2 \leq t

这叫约束优化。数学上完全成立,有成熟的解法。

但它有个工程上的麻烦:梯度下降处理不了带约束的问题。你每走一步,都得检查参数有没有越界,越界了还得把它拽回来。实现起来别扭,而且和现有的训练循环对不上。

换个思路:不设硬上限,改成在损失里加一项。 让优化器自己"愿意"把参数变小。

加一项

原来的损失函数只管一件事:拟合得好不好。

现在加第二件事:参数大不大。

J(w,b)=12m∑i=1m(f(xi)−yi)2⏟拟合得好不好+λ2m∑j=1nwj2⏟参数大不大J(w,b) = \underbrace{\frac{1}{2m}\sum_{i=1}^{m}\left(f(x_i) - y_i\right)^2}_{\text{拟合得好不好}} + \underbrace{\frac{\lambda}{2m}\sum_{j=1}^{n} w_j^2}_{\text{参数大不大}}

第二项就是正则化项。lambda=0lambda = 0 时它整项消失,公式退化成原来的样子。

和第 2 章给平方误差配 12\frac{1}{2} 是同一个理由:求导时那个 2 正好和平方的 2 约掉。

纯属计算上的方便,不影响最优解在哪。

两项在打架

把 JJ 拆成两部分看,会发现它们在拉相反的方向:

项

想让你做什么

拟合误差

把曲线弯过去,穿过每一个点

正则化项

把所有 ww 往 0 压

λ\lambda 就是这两股力的配比。

  • λ\lambda 小:拟合说了算,曲线随便弯 → 过拟合

  • λ\lambda 大:正则化说了算,全部压平 → 欠拟合

训练过程做的事没变——还是最小化 JJ。只不过现在的 JJ 里,多了一个"不许太大"的要求。

为什么只罚 ww,不罚 bb

公式里那个求和是 ∑j=1nwj2\sum_{j=1}^{n} w_j^2,bb 不在里面。

理由:bb 只是把整条曲线上下平移,它不控制曲线的形状。

ww 大,曲线会弯、会翘、会在没数据的地方乱跑。 bb 大,只是整条线往上挪——这不构成过拟合。

惩罚的是"弯曲能力",不是"偏移量"。

实践中罚不罚 bb 影响很小(因为 bb 一般不会很大),但写公式时把它排除掉,概念上更干净。

为什么用平方,不用绝对值

这是个好问题,答案是:两种都有人用,效果不同。

∑wj2(L2)vs∑∣wj∣(L1)\sum w_j^2 \quad\text{(L2)} \qquad\text{vs}\qquad \sum |w_j| \quad\text{(L1)}

这一课用的是 L2。两者的区别不小——L1 会把一些权重正好压成 0,L2 只是把它们压小。

第 5 课专门讲这个区别。现在先记住:默认用 L2。

λ 有多敏感

这是最容易踩坑的地方:λ\lambda 的合适量级取决于你的数据,没有普适的数值。

用第 6 章那批数据实测(20 个训练样本,6 次多项式):

λ\lambda

训练 MSE

验证 MSE

0

2.346

15.835

0.0001

2.402

2.892

0.001

2.428

4.500

0.01

2.493

7.084

0.1

2.528

8.972

1.0

2.840

14.040

λ\lambda 从 0 加到 0.0001——只加了一点点——验证误差就从 15.835 掉到 2.892,降了 5.5 倍。

而训练误差只从 2.346 涨到 2.402,几乎没动。

所以 λ\lambda 千万别从 0.1 或 1 开始试。 那已经太大了。常用的起手范围是 10−410^{-4} 到 10110^{1},按对数网格扫。

小结

概念

内容

正则化项

λ2m∑wj2\dfrac{\lambda}{2m}\sum w_j^2,加到原损失后面

作用

惩罚大参数,压制模型的弯曲能力

只罚 ww

因为 bb 只平移,不控制形状

λ\lambda 的角色

拟合与"参数要小"之间的配比

量级

因数据而异,从 10−410^{-4} 起扫

下一课

正则化线性回归