正则化:weight decay、dropout、早停

模型太强会把训练集背下来。正则化就是故意给它添麻烦,逼它学规律而不是记答案。

先能看出过拟合

训练损失

验证损失

判断

高

高

欠拟合,模型太弱

低

低

刚好

很低

开始上升

过拟合

关键信号:训练损失还在降,验证损失已经拐头向上。

weight decay(L2 正则)

看出过拟合了,第一个该加的是它——最省事,几乎总是有用。

在损失里加一项,惩罚大的权重:

L = 原损失 + λ · Σw²
opt = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=0.01)

λ

效果

0

不约束

1e-4 ~ 1e-2

常用范围

很大

权重被压到接近 0,模型欠拟合

用 AdamW,别用 Adam(weight_decay=...)

Adam 里的 weight_decay 实现有问题——衰减会被自适应学习率抵消掉一部分。

AdamW 把它单独拿出来做,才是你想要的效果。

被划掉的神经元这一轮完全不参与,梯度也不回传

dropout

weight decay 约束的是权重大小。dropout 换了个思路:直接让网络变得不完整。

训练时随机把一部分神经元置零:

nn.Dropout(0.2) # 训练时每个神经元有 20% 概率被置零

这样模型不能依赖某几个神经元,必须学出冗余的表达。

只有训练时生效

model.train() # Dropout 打开 model.eval() # Dropout 关闭

这就是 train/eval 存在的意义之一

忘了 model.eval(),评估时 Dropout 还在丢神经元,准确率会随机波动,而且偏低。

反过来,忘了 model.train(),训练时没有 Dropout,等于没加正则。

放在哪

nn.Sequential( nn.Linear(784, 256), nn.ReLU(), nn.Dropout(0.2), # 激活之后 nn.Linear(256, 10), )

常见是"线性 → 激活 → dropout"。

p 设多少

场景

p

全连接层

0.2 ~ 0.5

卷积层

0.1 ~ 0.2,或不用

输入层

0.1 ~ 0.2

输出层前

不用

早停

前面两个都要调参数。早停不用——它只是“该停的时候停”。

最简单也最有效:验证损失开始上升就停。

best = float("inf") patience = 5 wait = 0 for epoch in range(100): train_one_epoch() val = evaluate() if val < best: best = val wait = 0 torch.save(model.state_dict(), "best.pt") else: wait += 1 if wait >= patience: print("早停") break

注意最后要用 best.pt,不是最后一轮的权重。

数据增强

上面三个都是在限制模型。数据增强反过来了:让训练数据变多。

对图像做随机变换,等于凭空造出新样本:

train_tf = transforms.Compose([ transforms.RandomHorizontalFlip(), transforms.RandomRotation(10), transforms.ColorJitter(0.2, 0.2), transforms.ToTensor(), ])

这是 CV 里最有效的正则化,往往比 dropout 更管用。

增强要和任务匹配

猫狗分类可以水平翻转。数字识别不行——翻转后的 "6" 不是 "6"。

医学影像里左右翻转可能把病灶位置改变含义。

什么时候用什么

四种手段都讲完了,问题是该用哪个。

手段

成本

适用

早停

免费

永远开着

weight decay

免费

几乎总是有用

dropout

免费

全连接层多时

数据增强

耗 CPU

图像/文本

减小模型

损失容量

过拟合很严重时

更多数据

贵

最根本的解法

顺序很重要

先确认是真过拟合(训练降、验证升),再上正则化。

如果两个都高,那是欠拟合,加正则化只会更差。

下一课

还有两个影响很大的东西:参数怎么初始化,以及批归一化。