训练循环里的六个工程细节
前面几课的训练循环能跑,但放在真实项目里会缺六样东西。 它们都不影响"跑通",影响的是跑得住、查得清。
细节一:进度条不是装饰
from tqdm import tqdm pbar = tqdm(train_loader, desc=f"Epoch {epoch+1}", mininterval=0.5) for x, y in pbar: ... pbar.set_postfix({"loss": f"{loss.item():.4f}"})输出:
Epoch 3: 47%|████▋ | 367/781 [01:12<01:21, 5.08it/s, loss=0.2841]信息 | 为什么有用 |
|---|---|
| 这一轮还有多少 |
| 已用 / 还要多久 |
| 吞吐。突然掉到 0.5 说明有地方卡了 |
| 实时损失,不用等到轮末 |
mininterval 很重要
不加的话 tqdm 每个 batch 都刷新一次,几十个 batch 后终端会卡。
mininterval=0.5 表示最多每 0.5 秒刷一次。
细节二:梯度裁剪
进度条解决的是“看不看得见”。接下来五个解决的是“跑不跑得住”。
loss.backward() # 在 step 之前,把所有梯度的总范数限制在 1.0 以内 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step()它做的事:算出所有参数梯度的总长度,超了就按比例缩小。
没有裁剪 | 有裁剪 |
|---|---|
某一批数据梯度特别大 | 被压到 1.0 |
参数被一步推飞 | 最多推到正常范围 |
loss 变成 nan | 通常不会 |
RNN、LSTM 和 Transformer 几乎必须加——序列模型的梯度天然容易爆炸。
位置不能错
必须在 loss.backward() 之后、 optimizer.step() 之前。
放前面没有梯度可裁,放后面裁了也没用了。
细节三:冻结 BN 层
迁移学习时,预训练部分通常要冻住。但只设 requires_grad = False 不够:
# 只冻参数 for p in model.features.parameters(): p.requires_grad = False # 但 BatchNorm 在 train() 模式下仍会更新 running_mean / running_var! # 那是"不需要梯度也会变"的状态所以还要把 BN 切成 eval:
def freeze_bn(model): for m in model.modules(): if isinstance(m, nn.BatchNorm2d): m.eval() # 用固定的滑动统计量,不再更新 # 训练循环里 model.train() if cfg.transfer_mode: freeze_bn(model) # 再覆盖一遍这是迁移学习最隐蔽的坑
model.train() 会把所有子模块设成训练模式, 包括你刚冻住的 BN。
所以要在 train() 之后再单独把 BN 设回 eval()。
不这么做的后果:微调时预训练特征的统计量被小数据集带偏,效果反而变差。
细节四:保存最好的那一份
前三样保的是“不出事”。这一样保的是“别白训”。
import copy best_acc = 0.0 best_wts = copy.deepcopy(model.state_dict()) # 深拷贝一份当前参数 for epoch in range(epochs): train_one_epoch(...) acc = evaluate(...) if acc > best_acc: best_acc = acc best_wts = copy.deepcopy(model.state_dict()) # 更新 # 训练全部结束后,恢复到最好的那一轮 model.load_state_dict(best_wts)这样不用往磁盘写文件,代价是多占一份显存。 模型很大时改成存文件。
不能直接赋值
best_wts = model.state_dict() 只是拿了个引用, 之后参数一变它跟着变,最后存下来的还是最后一轮。
必须 deepcopy。
细节五:算准确率要排除 padding
这一条和序列任务绑得比较紧,但踩的人很多。
序列任务里,一句话后面补的 0 不是真正的词,不能算进准确率:
pred = logits.argmax(dim=-1) # (B, L) mask = target != 0 # padding 位置是 0 correct = ((pred == target) & mask).sum().item() total = mask.sum().item() acc = correct / total # 只算真实 token不排除 padding | 排除 |
|---|---|
准确率虚高 | 反映真实水平 |
短句子多的 batch 分数特别高 | 不受句子长度影响 |
模型学会"全猜 0"就能拿高分 | 学不到这个捷径 |
细节六:zero_grad 用 set_to_none
optimizer.zero_grad(set_to_none=True)写法 | 做了什么 | 开销 |
|---|---|---|
| 把梯度张量全部填 0 | 要遍历写一遍内存 |
| 把 | 只改指针,更快更省 |
PyTorch 2.0 之后默认已经是 set_to_none=True,显式写出来是为了让读者知道有这回事。
六个细节合起来的样子
分开看都是小改动。合到一个循环里,位置不能错。
model.train() if cfg.transfer_mode == 1: freeze_bn(model) # 细节三 pbar = tqdm(train_loader, mininterval=0.5) # 细节一 for x, y in pbar: x, y = x.to(device), y.to(device) logits = model(x) loss = criterion(logits.view(-1, V), y.view(-1)) optimizer.zero_grad(set_to_none=True) # 细节六 loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) # 细节二 optimizer.step() mask = y != 0 # 细节五 correct = ((logits.argmax(-1) == y) & mask).sum().item() pbar.set_postfix({"loss": f"{loss.item():.4f}"}) # 轮末 if acc > best_acc: # 细节四 best_acc = acc best_wts = copy.deepcopy(model.state_dict())下一课
训练完的模型要能用。下一课讲导出:ONNX 和 CPU 推理。