正则化的代价函数
先想想最直接的办法
既然目标是"把参数压小",最直觉的做法是给它设一个上限:
这叫约束优化。数学上完全成立,有成熟的解法。
但它有个工程上的麻烦:梯度下降处理不了带约束的问题。你每走一步,都得检查参数有没有越界,越界了还得把它拽回来。实现起来别扭,而且和现有的训练循环对不上。
换个思路:不设硬上限,改成在损失里加一项。 让优化器自己"愿意"把参数变小。
加一项
原来的损失函数只管一件事:拟合得好不好。
现在加第二件事:参数大不大。
第二项就是正则化项。 时它整项消失,公式退化成原来的样子。
和第 2 章给平方误差配 是同一个理由:求导时那个 2 正好和平方的 2 约掉。
纯属计算上的方便,不影响最优解在哪。
两项在打架
把 拆成两部分看,会发现它们在拉相反的方向:
项 | 想让你做什么 |
|---|---|
拟合误差 | 把曲线弯过去,穿过每一个点 |
正则化项 | 把所有 往 0 压 |
就是这两股力的配比。
小:拟合说了算,曲线随便弯 → 过拟合
大:正则化说了算,全部压平 → 欠拟合
训练过程做的事没变——还是最小化 。只不过现在的 里,多了一个"不许太大"的要求。
为什么只罚 ,不罚
公式里那个求和是 , 不在里面。
理由: 只是把整条曲线上下平移,它不控制曲线的形状。
大,曲线会弯、会翘、会在没数据的地方乱跑。 大,只是整条线往上挪——这不构成过拟合。
惩罚的是"弯曲能力",不是"偏移量"。
实践中罚不罚 影响很小(因为 一般不会很大),但写公式时把它排除掉,概念上更干净。
为什么用平方,不用绝对值
这是个好问题,答案是:两种都有人用,效果不同。
这一课用的是 L2。两者的区别不小——L1 会把一些权重正好压成 0,L2 只是把它们压小。
第 5 课专门讲这个区别。现在先记住:默认用 L2。
λ 有多敏感
这是最容易踩坑的地方: 的合适量级取决于你的数据,没有普适的数值。
用第 6 章那批数据实测(20 个训练样本,6 次多项式):
训练 MSE | 验证 MSE | |
|---|---|---|
0 | 2.346 | 15.835 |
0.0001 | 2.402 | 2.892 |
0.001 | 2.428 | 4.500 |
0.01 | 2.493 | 7.084 |
0.1 | 2.528 | 8.972 |
1.0 | 2.840 | 14.040 |
从 0 加到 0.0001——只加了一点点——验证误差就从 15.835 掉到 2.892,降了 5.5 倍。
而训练误差只从 2.346 涨到 2.402,几乎没动。
所以 千万别从 0.1 或 1 开始试。 那已经太大了。常用的起手范围是 到 ,按对数网格扫。
小结
概念 | 内容 |
|---|---|
正则化项 | ,加到原损失后面 |
作用 | 惩罚大参数,压制模型的弯曲能力 |
只罚 | 因为 只平移,不控制形状 |
的角色 | 拟合与"参数要小"之间的配比 |
量级 | 因数据而异,从 起扫 |
下一课
正则化线性回归